python set()去重的底层原理及实例

作者:哟,写bug呢?? 时间:2021-08-30 05:04:11 

set是什么?

数学上,把set称做由不同的元素组成的集合,集合(set)的成员通常被称做集合元素(set elements)。Python把这个概念引入到它的集合类型对象里。集合对象是一组无序排列的可哈希的值。集合关系测试和union、intersection等操作符在Python里也同样如我们所预想地那样工作。

set特点

集合的元素有三个特征:

1.确定性:集合中的元素必须是确定的;

2.互异性:集合中的元素互不相同,如:集合A={1,a},则a不能等于1);

3.无序性:集合中的元素没有先后之分,如:{3,4,5}和{3,5,4}算作同一个集合。

python中集合(set)是一个无序不重复元素的集,基本功能包括关系测试和消除重复元素,还可以计算交集、差集、并集等,它与列表(list)的行为类似,区别在于set不同包括重复的值,而且set元素是无序的。

在python中可以用大括号 {} 创建集合。注意:如果要创建或初始化一个空集合,你必须用 set() 而不是 {} 。因为后者{} 作为创建一个空的字典,以后我们会介绍字典这种数据结构。

一、set去重简单实例

ls = [1,2,3,1,2]
print(set(ls))

python set()去重的底层原理及实例

我们知道对于一个列表最简单的去重方法就是直接调用set函数,利用集合元素的唯一性,就可以做到去重。但是,这个底层原理究竟是什么样的却一直半解。

且看下面剖析

二、重新set实现机制


class Foo:
   def __init__(self,name,count):
       self.name = name
       self.count = count
   def __hash__(self):
       print("%s调用了哈希方法"%self.name)
       return hash(id(self))
   def __eq__(self, other):
       print("%s调用了eq方法")
       if self.__dict__ == other.__dict__:
           return True
       else:return False
f1 = Foo('f1',1)
f2 = Foo('f2',2)
f3 = Foo('f3',3)
ls = [f1,f2,f3]
print(set(ls))

python set()去重的底层原理及实例

从上面可以看出,set方法就是去调用hash方法,然后根据哈希值一不一样就行去重判断,但是事实就是样吗?且看下面程序。


class Foo:
   def __init__(self,name,count):
       self.name = name
       self.count = count
   def __hash__(self):
       print("%s调用了哈希方法"%self.name)
       return hash(self.count)
   def __eq__(self, other):
       print("%s调用了eq方法"%self.name)
       return self.__dict__ == other.__dict__
f1 = Foo('f1',1)
f2 = Foo('f2',1)
f3 = Foo('f3',3)
ls = [f1,f2,f3]
print(set(ls))

python set()去重的底层原理及实例

我看可以看出,实际上f1,f3的哈希值是相等的,但是set并没有这么简单就判断f1,f3是重复的,而是进一步通过eq方法判断这两个值是否相等,只有相等时才会认为这两个之间实际上是同一个。为了验证上面的说法,我们来看看下面的代码。

f1 = Foo('f1',1)
f2 = Foo('f1',1)
f3 = Foo('f3',3)
ls = [f1,f2,f3]
print(set(ls))

python set()去重的底层原理及实例

可以看出去重后,只有两个元素,所以上面说法得证。

三、结论

set的去重是通过两个函数__hash__和__eq__结合实现的。
1、当两个变量的哈希值不相同时,就认为这两个变量是不同的
2、当两个变量哈希值一样时,调用__eq__方法,当返回值为True时认为这两个变量是同一个,应该去除一个。返回FALSE时,不去重

四、应用场景需求

有一个公司,现有100个员工,由于数据库不完善,使用时间比较长,里面有很多重复数据需要清除。具体需求如下:

每个员工的属性有:姓名,性别,年龄,部门。 由于年龄和部门都会发生变化,所以现在认为只要两个员工之间姓名和性别一样,就认为是同一个人。

请实现员工去重:

class Staff:
   def __init__(self,name,gender,age,department):
       self.name = name
       self.gender = gender
       self.age  = age
       self.department = department
   def __hash__(self):
       return hash(self.name+self.gender)
   def __eq__(self, other):
       return True
ls = ['zs','ls','ww','zq']
gender_list = ['man','femal']
staff_list = []
for i in range(100):
   staff_list.append(Staff(ls[i%4],gender_list[i%2],i,'class'))
print(set(staff_list))
print([(i.name,i.gender) for i in set(staff_list)])

来源:https://www.cnblogs.com/linshuhui/p/9580620.html

标签:python,set,去重
0
投稿

猜你喜欢

  • python中的Elasticsearch操作汇总

    2022-01-29 10:44:45
  • Python处理mat文件的三种方式小结

    2022-01-21 23:04:30
  • 使用python绘制温度变化雷达图

    2021-06-23 05:44:02
  • python判断自身是否正在运行的方法

    2022-07-30 02:34:44
  • pytorch实现Tensor变量之间的转换

    2023-06-28 15:41:31
  • MySQL正确修改最大连接数的3种方案

    2024-01-18 16:08:03
  • 浅谈mysql可有类似oracle的nvl的函数

    2024-01-28 08:49:37
  • 简单介绍Python中的try和finally和with方法

    2021-01-15 07:09:49
  • Python 实现将某一列设置为str类型

    2022-07-27 03:20:12
  • python 使用建议与技巧分享(四)

    2021-06-29 20:43:28
  • CSS的学习应该注意学习方法

    2007-11-27 00:20:00
  • Python开发最牛逼的IDE——pycharm

    2022-12-21 02:33:05
  • Python使用os.listdir和os.walk获取文件路径

    2023-01-30 11:02:10
  • python中的插值 scipy-interp的实现代码

    2022-02-23 02:50:09
  • Pytorch 数据加载与数据预处理方式

    2021-06-12 11:07:05
  • 使用PHP生成二维码的两种方法(带logo图像)

    2023-11-14 11:00:30
  • python中安装Scrapy模块依赖包汇总

    2023-11-08 07:06:25
  • Python使用稀疏矩阵节省内存实例

    2021-03-31 17:58:19
  • Access中实现case when功能

    2009-04-28 13:02:00
  • 详解Python 模拟实现生产者消费者模式的实例

    2022-04-17 10:35:51
  • asp之家 网络编程 m.aspxhome.com