python多进程重复加载的解决方式

作者:ShellCollector 时间:2021-07-22 23:49:43 

flask多进程会引起重复加载,

解决方法:把耗资源的加载挪到函数里面或者类里面,就不会重复加载资源了。

测试发现,不是flask引起的,是多进程会引起重复加载python文件。

把flask注释掉,也会重复加载。


# autotrade/__init__.py
# __init__.py 定义全局的app路由
# 然后将其他模块由app装饰后的函数导入,flask即可识别所有的请求入口
import time

from flask import Flask
from multiprocessing import Process

# 配置全局app

# 导入index中定义的所有函数
# from autotrade.server.index import *
print("import will repeat")
def run_index():
 print("run_index once")
 app = Flask(__name__)
 # 启动web服务器,使用多线程方式,接收所有http请求
 app.run(host='0.0.0.0', port=5000, threaded=True,debug=False)

def run_orders():
 # 启动查询交易程序
 while True:
   print('执行相应的交易程序')
   time.sleep(3)

def main():
 # 主程序
 # 创建子进程
 jobs = []
 jobs.append(Process(target=run_index))
 # jobs.append(Process(target=run_orders))
 # 启动子进程
 for job in jobs:
   job.start()

# 等待子进程结束返回
 for job in jobs:
   job.join()

if __name__ == '__main__':
 # run_index()
 main()

一般情况,把需要加载的封装到函数或者类中就可以了,

但是有一个例外:就是SQLAlchemy

必须在py文件中实例化,


from flask_login import LoginManager
from flask_mail import Mail
from flask_socketio import SocketIO
from flask_migrate import Migrate
from flask_rq2 import RQ
from flask_wtf.csrf import CSRFProtect

from monitor.common.storage import LocalStorage, QiniuStorage, ObjectStorage
import config.global_var as gl_var
# from monitor.common.es_search import ESearchEngine

QINIU_AVAILABLE = gl_var.get_value("qiniu_available")
OSS_AVAILABLE = gl_var.get_value("oss_available")
REDIS_URI = gl_var.get_value("redis_uri")
BASEDIR = gl_var.get_value("basedir")
sbdwl = gl_var.get_value("sbdwl")

class Redis(object):

def __init__(self):
   self._db = None

def init_app(self, uri=REDIS_URI):
   self._db = _redis.Redis.from_url(uri)

@property
 def db(self):
   return self._db

print("import foundation")

import threading
class Singleton(object):
 _instance_lock=threading.Lock()
 def __init__(self):
   pass
   # import time
   # print("sleep")
   # time.sleep(1)
 def __new__(cls, *args, **kwargs):
   if not hasattr(Singleton,"_instance"):
     with Singleton._instance_lock:
       if not hasattr(Singleton,"_instance"):
         print("create _instance----------------------------")
         Singleton._instance=object.__new__(cls,*args,**kwargs)

app = Flask(__name__)
         Singleton._instance.db = SQLAlchemy(app)
         Singleton._instance.login_manager = LoginManager()

解决方法:把启动换到一个新文件,然后在函数中调用这个文件,import也放在函数内部。

来源:https://blog.csdn.net/jacke121/article/details/88904837

标签:python,多进程,重复加载
0
投稿

猜你喜欢

  • Go标准容器之Ring的使用说明

    2023-09-21 02:18:14
  • Django 状态保持搭配与存储的实现

    2021-05-10 04:16:00
  • 文字超长自动省略,以...代替,CSS实现

    2009-07-16 10:15:00
  • MySQL数据库只监听某个特定地址的方法

    2008-12-05 16:11:00
  • asp如何正确理解和使用Command、Connection和 Recordset三个对象?

    2010-06-28 18:23:00
  • 不要放弃使用CSS中的新技术

    2009-05-15 12:49:00
  • 对Python 除法负数取商的取整方式详解

    2023-10-02 20:21:41
  • 如何实现全文检索?

    2010-05-24 18:24:00
  • 用ASP在线创建Word与Excel文档

    2008-07-20 19:17:00
  • Python对接六大主流数据库(只需三步)

    2022-04-25 21:51:55
  • PHP队列用法实例

    2023-10-20 12:30:49
  • 较完善的日历组件js源码(兼容)

    2010-08-08 08:43:00
  • Python threading中lock的使用详解

    2023-01-16 08:32:26
  • 用ASP打开远端MDB数据库

    2007-10-13 06:56:00
  • CSS Type set: 在线字体调整工具

    2008-03-02 15:36:00
  • php 生成静态页面的办法与实现代码详细版

    2023-10-31 06:05:33
  • Python3自定义http/https请求拦截mitmproxy脚本实例

    2021-04-13 15:33:01
  • pytorch: tensor类型的构建与相互转换实例

    2023-06-14 09:22:57
  • Go语言 go程释放操作(退出/销毁)

    2023-09-17 22:03:42
  • 如何对MySQL数据库表进行锁定

    2009-02-10 10:39:00
  • asp之家 网络编程 m.aspxhome.com