python实现多线程的方式及多条命令并发执行

作者:lijiao 时间:2023-08-09 11:37:20 

一、概念介绍

Thread 是threading模块中最重要的类之一,可以使用它来创建线程。有两种方式来创建线程:一种是通过继承Thread类,重写它的run方法;另一种是创建一个threading.Thread对象,在它的初始化函数(__init__)中将可调用对象作为参数传入.
Thread模块是比较底层的模块,Threading模块是对Thread做了一些包装的,可以更加方便的被使用。
另外在工作时,有时需要让多条命令并发的执行, 而不是顺序执行。

二、代码样例


#!/usr/bin/python
# encoding=utf-8
# Filename: thread-extends-class.py
# 直接从Thread继承,创建一个新的class,把线程执行的代码放到这个新的 class里
import threading
import time

class ThreadImpl(threading.Thread):
def __init__(self, num):
 threading.Thread.__init__(self)
 self._num = num

def run(self):
 global total, mutex

# 打印线程名
 print threading.currentThread().getName()

for x in xrange(0, int(self._num)):
  # 取得锁
  mutex.acquire()
  total = total + 1
  # 释放锁
  mutex.release()

if __name__ == '__main__':
#定义全局变量
global total, mutex
total = 0
# 创建锁
mutex = threading.Lock()

#定义线程池
threads = []
# 创建线程对象
for x in xrange(0, 40):
 threads.append(ThreadImpl(100))
# 启动线程
for t in threads:
 t.start()
# 等待子线程结束
for t in threads:
 t.join()

# 打印执行结果
print total

#!/usr/bin/python
# encoding=utf-8
# Filename: thread-function.py
# 创建线程要执行的函数,把这个函数传递进Thread对象里,让它来执行

import threading
import time

def threadFunc(num):
global total, mutex

# 打印线程名
print threading.currentThread().getName()

for x in xrange(0, int(num)):
 # 取得锁
 mutex.acquire()
 total = total + 1
 # 释放锁
 mutex.release()

def main(num):
#定义全局变量
global total, mutex
total = 0
# 创建锁
mutex = threading.Lock()

#定义线程池
threads = []
# 先创建线程对象
for x in xrange(0, num):
 threads.append(threading.Thread(target=threadFunc, args=(100,)))
# 启动所有线程
for t in threads:
 t.start()
# 主线程中等待所有子线程退出
for t in threads:
 t.join()

# 打印执行结果
print total

if __name__ == '__main__':
# 创建40个线程
main(40)

#!/usr/bin/python
# encoding=utf-8
# Filename: put_files_hdfs.py
# 让多条命令并发执行,如让多条scp,ftp,hdfs上传命令并发执行,提高程序运行效率
import datetime
import os
import threading

def execCmd(cmd):
try:
 print "命令%s开始运行%s" % (cmd,datetime.datetime.now())
 os.system(cmd)
 print "命令%s结束运行%s" % (cmd,datetime.datetime.now())
except Exception, e:
 print '%s\t 运行失败,失败原因\r\n%s' % (cmd,e)

if __name__ == '__main__':
# 需要执行的命令列表
cmds = ['ls /root',
   'pwd',]

#线程池
threads = []

print "程序开始运行%s" % datetime.datetime.now()

for cmd in cmds:
 th = threading.Thread(target=execCmd, args=(cmd,))
 th.start()
 threads.append(th)

# 等待线程运行完毕
for th in threads:
 th.join()

print "程序结束运行%s" % datetime.datetime.now()

标签:python,多线程,并发执行
0
投稿

猜你喜欢

  • 彻底解决ewebeditor网站后台不能上传图片的方法

    2023-07-09 04:09:01
  • numpy系列之数组合并(横向和纵向)

    2023-11-13 07:13:21
  • Python 关于反射和类的特殊成员方法

    2021-10-16 19:30:13
  • goland中使用leetcode插件实现

    2023-07-23 10:43:09
  • 如何利用pycharm进行代码更新比较

    2022-06-21 17:13:09
  • mysql 获取规定时间段内的统计数据

    2024-01-24 11:25:10
  • 简易的全屏透明遮罩(lightBox)

    2010-06-09 20:56:00
  • Python Pandas批量读取csv文件到dataframe的方法

    2022-12-15 17:05:03
  • python去掉行尾的换行符方法

    2021-10-24 02:36:22
  • Python pytest装饰器总结(实例详解)

    2023-06-12 07:15:14
  • 用 Python 元类的特性实现 ORM 框架

    2022-02-12 12:45:24
  • JavaScript的2008[译]

    2009-02-20 13:49:00
  • 在python中计算ssim的方法(与Matlab结果一致)

    2023-08-19 03:33:21
  • python3爬虫中引用Queue的实例讲解

    2023-07-15 19:43:48
  • tensorflow如何继续训练之前保存的模型实例

    2023-05-22 22:54:57
  • FSO组件之文件操作(上)

    2010-05-03 11:01:00
  • vue项目的创建的步骤(图文教程)

    2024-05-21 10:16:29
  • PHP实现打包下载文件的方法示例

    2024-05-11 09:45:54
  • ASP如何获取通过代理的真实IP地址

    2007-09-20 13:11:00
  • 在ASP中使用SQL语句之11:记录统计

    2007-08-11 13:27:00
  • asp之家 网络编程 m.aspxhome.com