Python 列表去重：多种方法与性能比较

在 Python 开发中，我们经常需要对列表进行去重操作，即保留列表中所有不重复的元素。Python 提供了多种方法来实现列表去重，本文将介绍几种常见的方法，并分析它们的优缺点和性能差异，帮助你选择最适合你的方法。

1. 使用 set 数据结构

set 是 Python 中的一种无序、不重复元素集，利用 set 的特性可以轻松实现列表去重。

代码示例:

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(set(my_list))
print(unique_list)  # 输出: [1, 2, 3, 4, 5]

优点：

• 代码简洁易懂，只需一行代码即可完成去重。
• 利用 set 数据结构的特性，去重效率高，尤其适用于处理大型列表。

缺点：

• set 是无序的，使用 set 去重后会改变列表元素的顺序。
• set 不支持存储不可哈希的数据类型，例如列表和字典。

2. 使用循环遍历

循环遍历是最直观、最容易理解的去重方法，通过遍历列表并判断元素是否已存在于新列表中，可以实现去重。

代码示例:

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = []
for item in my_list:
    if item not in unique_list:
        unique_list.append(item)
print(unique_list)  # 输出: [1, 2, 3, 4, 5]

优点：

• 易于理解，适合初学者。
• 可以保持列表元素的原始顺序。

缺点：

• 代码相对冗长。
• 效率较低，尤其对于大型列表，时间复杂度为 O(n^2)。

3. 使用 collections.OrderedDict.fromkeys()

​OrderedDict​是 Python 内置库​collections​中的一种数据结构，它可以记住键的插入顺序。我们可以利用 ​OrderedDict.fromkeys()​方法创建一个新的​OrderedDict​对象，并将列表元素作为键，从而实现去重并保持顺序。

代码示例:

from collections import OrderedDict

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(OrderedDict.fromkeys(my_list))
print(unique_list)  # 输出: [1, 2, 3, 4, 5]

优点：

• 代码简洁，易于理解。
• 可以保持列表元素的原始顺序。

缺点：

• 需要导入​collections​模块。
• 相较于使用 set，效率略低。

4. 使用列表推导式

列表推导式是 Python 提供的一种简洁的创建列表的方式，也可以用于实现列表去重。

代码示例:

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = []
[unique_list.append(x) for x in my_list if x not in unique_list]
print(unique_list)  # 输出: [1, 2, 3, 4, 5]

优点：

• 代码简洁。
• 可以保持列表元素的原始顺序。

缺点：

• 相较于循环遍历，可读性略差。
• 效率较低，尤其对于大型列表，时间复杂度为 O(n^2)。

性能比较

上述方法中，使用 set 去重的效率最高，尤其适用于处理大型列表。使用​OrderedDict.fromkeys()​方法的效率次之，但可以保持列表元素的原始顺序。循环遍历和列表推导式的效率最低，不建议用于处理大型列表。

总结

本文介绍了四种 Python 列表去重的方法，并分析了它们的优缺点和性能差异。选择最佳方法取决于你的具体需求，例如是否需要保持元素顺序、列表大小以及代码可读性等因素。

python入门课程>>