python logging多进程多线程输出到同一个日志文件的实战案例

作者:VincentZhu 时间:2021-01-08 16:25:17 

参考官方案例:https://docs.python.org/zh-cn/3.8/howto/logging-cookbook.html

import logging
import logging.config
import logging.handlers
from multiprocessing import Process, Queue
import random
import threading
import time

def logger_thread(q):
   while True:
       record = q.get()
       if record is None:
           break
       logger = logging.getLogger(record.name)
       logger.handle(record)
def worker_process(q):
   qh = logging.handlers.QueueHandler(q)
   root = logging.getLogger()
   root.setLevel(logging.DEBUG)
   root.addHandler(qh)
   levels = [logging.DEBUG, logging.INFO, logging.WARNING, logging.ERROR,
             logging.CRITICAL]
   loggers = ['foo', 'foo.bar', 'foo.bar.baz',
              'spam', 'spam.ham', 'spam.ham.eggs']
   for i in range(100):
       lvl = random.choice(levels)
       logger = logging.getLogger(random.choice(loggers))
       logger.log(lvl, 'Message no. %d', i)
if __name__ == '__main__':
   q = Queue()
   d = {
       'version': 1,
       'formatters': {
           'detailed': {
               'class': 'logging.Formatter',
               'format': '%(asctime)s %(name)-15s %(levelname)-8s %(processName)-10s %(message)s'
           }
       },
       'handlers': {
           'console': {
               'class': 'logging.StreamHandler',
               'level': 'INFO',
           },
           'file': {
               'class': 'logging.FileHandler',
               'filename': 'mplog.log',
               'mode': 'w',
               'formatter': 'detailed',
           'foofile': {
               'filename': 'mplog-foo.log',
           'errors': {
               'filename': 'mplog-errors.log',
               'level': 'ERROR',
       'loggers': {
           'foo': {
               'handlers': ['foofile']
       'root': {
           'level': 'DEBUG',
           'handlers': ['console', 'file', 'errors']
   }
   workers = []
   for i in range(5):
       wp = Process(target=worker_process, name='worker %d' % (i + 1), args=(q,))
       workers.append(wp)
       wp.start()
   logging.config.dictConfig(d)
   lp = threading.Thread(target=logger_thread, args=(q,))
   lp.start()
   # At this point, the main process could do some useful work of its own
   # Once it's done that, it can wait for the workers to terminate...
   for wp in workers:
       wp.join()
   # And now tell the logging thread to finish up, too
   q.put(None)
   lp.join()

实战案例:

1、字典形式配置日志

log_conf_dict = {
   'version': 1,
   'formatters': {
       'my_formatter': {
           'class': 'logging.Formatter',
           'format': '%(asctime)s %(processName)s(%(process)d) %(threadName)s(%(thread)d) %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'
       }
   },
   'handlers': {
       'console': {
           'class': 'logging.StreamHandler',
           'level': 'INFO',
           'formatter': 'my_formatter',
       },
       'file': {
           'class': 'logging.handlers.RotatingFileHandler',
           'filename': '/log/test.log',
           'maxBytes': 5*1024*1024,
           'backupCount': 60,
           'mode': 'w',
           'delay': True,
           'formatter': 'my_formatter',
           'encoding': 'utf-8',
           'level': 'INFO',
       },
   },
   'loggers': {
       'my_logger': {
           'handlers': ['file']
       }
   },
   'root': {
       'level': _level,
       'handlers': ['console', 'file']
   },
}

2、主进程中开启独立的日志写入监听线程

"""主进程中开启独立的日志写入监听线程"""
   queue = Queue(-1)
   logging.config.dictConfig(dict)
   log_thread = threading.Thread(target=logger_main, args=(queue,))
   log_thread.start()    """其他逻辑代码段"""    queue.put(None)    log_thread.join()

日志写入函数

def logger_main(q):
'''日志队列写入文件'''
   while True:
       record = q.get()
       if record is None:
           break
       logger = logging.getLogger()
       logger.handle(record)

3、子进程中将日志输入QueueHandler日志队列

def child_proc_main(queue):
   lqh = logging.handlers.QueueHandler(queue)
   lqh.set_name("my_queue_handler")

root = logging.getLogger()    #很关键的一步,必须先清空,再加入。原因:多进程多线程复杂环境下,在window和linux平台运行表现不一致,linux会复制主进程的日志配置,造成同时输出多个日志文件。
   root.handlers.clear()
   root.addHandler(lqh)
   root.setLevel(level)

来源:https://www.cnblogs.com/OnlyDreams/p/15923001.html

标签:python,logging,日志文件
0
投稿

猜你喜欢

  • 结合OpenCV与TensorFlow进行人脸识别的实现

    2021-07-06 08:44:28
  • 为你的有序列表添加个性样式

    2009-02-23 13:12:00
  • Sql 语句学习指南第1/2页

    2024-01-25 07:13:01
  • js解析xml字符串和xml文档实现原理及代码(针对ie与火狐)

    2024-04-18 09:51:29
  • Python+OpenCV+pyQt5录制双目摄像头视频的实例

    2021-12-22 02:07:24
  • MySQL中varchar和char类型的区别

    2024-01-22 22:36:05
  • Tensorflow--取tensorf指定列的操作方式

    2021-06-25 21:21:02
  • 八种获取当前日期的js代码

    2007-09-07 10:26:00
  • Python+OpenCV实现图像的全景拼接

    2023-12-01 11:47:29
  • 浅谈Scrapy框架普通反爬虫机制的应对策略

    2023-07-14 17:11:40
  • PHP使用星号隐藏用户名,手机和邮箱的实现方法

    2023-11-05 10:41:56
  • python爬虫字体加密的解决

    2021-02-22 12:25:57
  • Python使用Opencv打开笔记本电脑摄像头报错解问题及解决

    2022-12-02 10:32:01
  • JavaScript实现省市县三级级联特效

    2024-04-18 10:55:56
  • 原生js实现瀑布流效果

    2023-09-04 07:11:02
  • js验证表单(form)中多选框(checkbox)值

    2008-03-18 13:39:00
  • Python标准库之数据库 sqlite3

    2024-01-24 01:50:51
  • 碰到MySQL无法启动1067错误问题解决方法

    2024-01-18 09:16:47
  • python实现两个一维列表合并成一个二维列表

    2023-08-06 12:59:44
  • Python tabulate结合loguru打印出美观方便的日志记录

    2021-02-23 02:39:45
  • asp之家 网络编程 m.aspxhome.com