Python 多线程搜索txt文件的内容,并写入搜到的内容(Lock)方法

作者:houyanhua1 时间:2021-01-15 12:48:34 

废话不多说,直接上代码吧!


import threading
import os

class Find(threading.Thread): #搜索数据的线程类
def __init__(self,datalist,startIndex,endIndex,searchstr,savefile): #datalist要搜索的内容列表,startIndex列表搜索范围的开始下标,searchstr要搜索的内容
 threading.Thread.__init__(self)
 self.datalist=datalist #要搜索的数据的内存地址
 self.startIndex=startIndex #开始的索引
 self.endIndex=endIndex #结束的索引
 self.seachstr=searchstr #需要搜索的数据
 self.savefile=savefile
def run(self):
self.findlist=[]
for i in range(self.startIndex,self.endIndex):
 line=self.datalist[i].decode("gbk","ignore") #读取一行
 if line.find(self.seachstr)!=-1:
 print(self.getName(),line,end="") #搜索数据
 self.findlist.append(line)
global mutex #多线程共享全局变量(全局锁)
with mutex: #获取锁(自动释放锁)
for line in self.findlist:
self.savefile.write(line.encode("gbk"))

mutex=threading.Lock() #创建一个锁
savefile=open("c:\\zhaodao.txt","wb") #搜索到的内容写入该文件

path = "C:\\data1.txt" #要搜索的文件
file = open(path, "rb")
datalist = file.readlines() # 全部读入内存
lines=len(datalist) #所有的行数
searchstr=input("输入要查询的数据")
N=10 #开启10个线程
threadlist=[] #线程列表
# 97 9 0-1000000 1000000-2000000 2000000-3000000
for i in range(0,N-1): #0,1,2,3,4,5,6,7,8 数据切割
mythd= Find(datalist,i*(lines//(N-1)) , (i+1)*(lines//(N-1)),searchstr,savefile) # //表示整除
mythd.start()
threadlist.append(mythd) #添加到线程列表

#97 = 97//10*10=90
mylastthd= Find(datalist,lines//(N-1)*(N-1),lines,searchstr,savefile) #最后的线程搜索剩下的尾数
mylastthd.start()
threadlist.append(mylastthd) #添加到线程列表

for thd in threadlist: #遍历线程列表
thd.join()
print("finish")

来源:https://blog.csdn.net/houyanhua1/article/details/78250843

标签:Python,多线程,搜索,txt
0
投稿

猜你喜欢

  • Python命令行运行文件的实例方法

    2023-05-10 13:57:56
  • python爬虫快速响应服务器的做法

    2022-09-24 21:05:31
  • Django处理Ajax发送的Get请求代码详解

    2023-06-29 08:40:40
  • 解决golang 反射interface{}做零值判断的一个重大坑

    2024-05-21 10:24:27
  • Mootools 1.2教程(17)——手风琴插件

    2008-12-11 13:39:00
  • MYSQL日志的正确删除方法详解

    2024-01-22 13:18:02
  • numpy使用fromstring创建矩阵的实例

    2022-02-23 09:29:49
  • JavaScript利用多彩线条摆出心形效果的示例代码

    2024-04-16 10:29:49
  • python中asyncio异步编程学习

    2022-10-20 06:19:37
  • 理解JavaScript作用域链

    2010-01-23 11:31:00
  • MySQL中字符串与Num类型拼接报错的解决方法

    2024-01-27 11:32:00
  • 使用python制作一个解压缩软件

    2023-04-27 19:08:37
  • Python爬虫分析汇总

    2022-08-28 06:19:38
  • JavaScript基本数据类型及值类型和引用类型

    2024-05-10 13:59:39
  • Python 列表反转显示的四种方法

    2021-07-21 02:41:31
  • pydantic-resolve嵌套数据结构生成LoaderDepend管理contextvars

    2023-01-12 22:21:05
  • Python字典,函数,全局变量代码解析

    2021-02-20 06:58:58
  • 网页编辑常用表现的实现方法

    2010-07-02 16:24:00
  • 使用Canal实现PHP应用程序与MySQL数据库的实时数据同步

    2023-05-25 01:54:39
  • 对MySQL几种联合查询的通俗解释

    2024-01-18 17:44:40
  • asp之家 网络编程 m.aspxhome.com