python logging多进程多线程输出到同一个日志文件的实战案例
作者:VincentZhu 发布时间:2021-01-08 16:25:17
标签:python,logging,日志文件
参考官方案例:https://docs.python.org/zh-cn/3.8/howto/logging-cookbook.html
import logging
import logging.config
import logging.handlers
from multiprocessing import Process, Queue
import random
import threading
import time
def logger_thread(q):
while True:
record = q.get()
if record is None:
break
logger = logging.getLogger(record.name)
logger.handle(record)
def worker_process(q):
qh = logging.handlers.QueueHandler(q)
root = logging.getLogger()
root.setLevel(logging.DEBUG)
root.addHandler(qh)
levels = [logging.DEBUG, logging.INFO, logging.WARNING, logging.ERROR,
logging.CRITICAL]
loggers = ['foo', 'foo.bar', 'foo.bar.baz',
'spam', 'spam.ham', 'spam.ham.eggs']
for i in range(100):
lvl = random.choice(levels)
logger = logging.getLogger(random.choice(loggers))
logger.log(lvl, 'Message no. %d', i)
if __name__ == '__main__':
q = Queue()
d = {
'version': 1,
'formatters': {
'detailed': {
'class': 'logging.Formatter',
'format': '%(asctime)s %(name)-15s %(levelname)-8s %(processName)-10s %(message)s'
}
},
'handlers': {
'console': {
'class': 'logging.StreamHandler',
'level': 'INFO',
},
'file': {
'class': 'logging.FileHandler',
'filename': 'mplog.log',
'mode': 'w',
'formatter': 'detailed',
'foofile': {
'filename': 'mplog-foo.log',
'errors': {
'filename': 'mplog-errors.log',
'level': 'ERROR',
'loggers': {
'foo': {
'handlers': ['foofile']
'root': {
'level': 'DEBUG',
'handlers': ['console', 'file', 'errors']
}
workers = []
for i in range(5):
wp = Process(target=worker_process, name='worker %d' % (i + 1), args=(q,))
workers.append(wp)
wp.start()
logging.config.dictConfig(d)
lp = threading.Thread(target=logger_thread, args=(q,))
lp.start()
# At this point, the main process could do some useful work of its own
# Once it's done that, it can wait for the workers to terminate...
for wp in workers:
wp.join()
# And now tell the logging thread to finish up, too
q.put(None)
lp.join()
实战案例:
1、字典形式配置日志
log_conf_dict = {
'version': 1,
'formatters': {
'my_formatter': {
'class': 'logging.Formatter',
'format': '%(asctime)s %(processName)s(%(process)d) %(threadName)s(%(thread)d) %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'
}
},
'handlers': {
'console': {
'class': 'logging.StreamHandler',
'level': 'INFO',
'formatter': 'my_formatter',
},
'file': {
'class': 'logging.handlers.RotatingFileHandler',
'filename': '/log/test.log',
'maxBytes': 5*1024*1024,
'backupCount': 60,
'mode': 'w',
'delay': True,
'formatter': 'my_formatter',
'encoding': 'utf-8',
'level': 'INFO',
},
},
'loggers': {
'my_logger': {
'handlers': ['file']
}
},
'root': {
'level': _level,
'handlers': ['console', 'file']
},
}
2、主进程中开启独立的日志写入监听线程
"""主进程中开启独立的日志写入监听线程"""
queue = Queue(-1)
logging.config.dictConfig(dict)
log_thread = threading.Thread(target=logger_main, args=(queue,))
log_thread.start() """其他逻辑代码段""" queue.put(None) log_thread.join()
日志写入函数
def logger_main(q):
'''日志队列写入文件'''
while True:
record = q.get()
if record is None:
break
logger = logging.getLogger()
logger.handle(record)
3、子进程中将日志输入QueueHandler日志队列
def child_proc_main(queue):
lqh = logging.handlers.QueueHandler(queue)
lqh.set_name("my_queue_handler")
root = logging.getLogger() #很关键的一步,必须先清空,再加入。原因:多进程多线程复杂环境下,在window和linux平台运行表现不一致,linux会复制主进程的日志配置,造成同时输出多个日志文件。
root.handlers.clear()
root.addHandler(lqh)
root.setLevel(level)
来源:https://www.cnblogs.com/OnlyDreams/p/15923001.html
0
投稿
猜你喜欢
- 引子首先说 正则表达式是什么?正则表达式,又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语:Regular Expres
- golang中list包用法可以参看这篇文章但是list包中大部分对于e *Element进行操作的元素都可能会导致程序崩溃,其根本原因是e
- 1、Session的存储方式。 session其实分为客户端Session和服务器端Session。 当用户首次与Web服务器建立连接的时候
- 初学python,抓取搜狗微信公众号文章存入mysqlmysql表:代码:import requestsimport jsonimport
- 参考文章ubuntu源码安装python3linux 编译安装python3.6的教程详解准备工作安装工具sudo apt updatesu
- 最近在用python写接口的测试程序,期间用到解析字典获取某个key的value,由于多个接口返回的字典格式不是固定的并存在多层嵌套的情况。
- 这两天为了这个问题, Gitter 上问, Twitter 上问, GitHub 上问, 两天没反应原来写博客的 jlongster 不理我
- 使用python实现简单倒计时exe,供大家参考,具体内容如下使用tkinter制作界面实现倒计时功能。使用time.sleep(1)实现
- 本文记录了Linux系统(CentOS)安装Python,供大家参考,具体内容如下Python(Linux) 下载地址操作系统:Centos
- 添加用户(随着用户的创建,自动产生与用户同名的schema) CREATE USER "TESTER" PROFILE
- 源码如下from scapy.all import *import logginglogging.getLogger('scapy.
- typing为Python的一个标注库,此默认支持PEP 484和PEP 526指定的类型提示。最基本的支持由Any、Union、Tuple
- 多进程共享变量和获得结果由于工程需求,要使用多线程来跑一个程序。但是因为听说python的多线程是假的,于是使用多进程,反正任务需要共享的参
- 今天成功把易语言调用验证码通杀的DLL在Python中成功调用了特此共享出来,下面是识别截图:识别方法1:"""
- 最近需要将使用keras训练的模型移植到手机上使用, 因此需要转换到tensorflow的二进制模型。折腾一下午,终于找到一个合适的方法,废
- 在看本篇文章前我们需要了解阻塞的概念在执行过程中暂停,以等待某个条件的触发 ,我们就称之为阻塞在Go中我们make一个channel有两种方
- 本文实例讲述了jsp中select的onchange事件用法。分享给大家供大家参考,具体如下:<script language = &
- 作者认为最快的学习区块链的方式是自己创建一个,本文就跟随作者用Python来创建一个区块链。对数字货币的崛起感到新奇的我们,并且想知道其背后
- 生成方式Python中想要自动生成 model文件可以通过 sqlacodegen这个命令来生成对应的model文件sqlacodegen
- 还有多少耿直boy和我一样在等待微信官方送上一顶圣诞帽?最后知道真相的我眼泪掉下来……(还蒙在鼓里的同学请在微信最上方的搜索栏自行搜索『圣诞