详解多线程Django程序耗尽数据库连接的问题
作者:赖勇浩 时间:2024-01-23 02:27:14
Django的ORM是非常好用的,哪怕不是做Web项目也值得一用,所以网上也可以找到不少使用 Django 开发非Web项目的资料,因为除了ORM之个,命令行、配置文件等组件也非常好用。
最近用这种方式开发了一个非Web项目,而且是多线程的。有N个工作线程从DB中获取jobs,并把结果写回DB。简单来说就是这样。
项目运行一段时间后,发现数据库连接耗尽了,幸好内存大,然后一直往上调,最后连接数都上九千多一万了。耗尽连接数的时候,PostgreSQL 会出现类似这样的错误:
FATAL: remaining connection slots are reserved for non-replication superuser connections
然后就各种看文档、代码,找问题,其中艰难略下不表,最后大概是这么些个知识点:
Django里的数据库连接是放在线程的 local() 实例中的。
任何时候,需要一个数据库连接的话,Django就会创建一条出来,或者用本线程已有的那条。
如果是Web项目,在请求结束的时候,Django会去关闭掉连接。是的,没有连接池。
因为我们是非Web项目,所以不存在请求结束事件,所以一直没的关闭连接。但本来这个应该也不会造成问题的,因为没关闭就一直用呗,但不知道哪里出了问题,会出现连接泄漏,所以连接数据会一直增长。
最后的解决方案是找时机主动关闭数据库连接,具体到我们项目,就是每次工作线程完成一个任务后,就把它相关的连接关掉,因为我们用的是 ThreadPoolExecutor
,所以Django很容易做到这一点。
重点代码如下:
from django.db import connections
def on_done(future):
# 因为每一个线程都有一个 connections,所以这里可以调用 close_all(),把本线程名下的所有连接关闭。
connections.close_all()
def main():
# ...
with ThreadPoolExecutor() as executor:
while True:
future = executor.submit(do, get_a_job())
future.add_done_callback(on_done)
主动关闭后,数据库连接数降到与工作线程数相近,并保持稳定。
来源:https://blog.csdn.net/gzlaiyonghao/article/details/82959426
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Python cookbook(数据结构与算法)找出序列中出现次数最多的元素算法示例
Python Flask前端自动登录功能实现详解
Python利用matplotlib实现制作动态条形图
![](https://img.aspxhome.com/file/2023/9/82789_0s.gif)
python用于url解码和中文解析的小脚本(python url decoder)
Python输入整数进行排序方式
用TensorFlow实现lasso回归和岭回归算法的示例
![](https://img.aspxhome.com/file/2023/9/133369_0s.png)
使用BootStrap和Metroui设计的metro风格微网站或手机app界面
![](https://img.aspxhome.com/file/2023/8/129558_0s.png)
默认Web字体样式
MySQL存储引擎InnoDB与Myisam的区别分析
ASP用JAVASCRIPT脚本实现分页的办法
微信小程序分包操作实战指南
![](https://img.aspxhome.com/file/2023/6/137016_0s.png)
Django Python 获取请求头信息Content-Range的方法
JS代码格式化和语法着色V2
Golang如何读取单行超长的文本详解
![](https://img.aspxhome.com/file/2023/5/127485_0s.png)
AJAX实战实现级联选择
PyQt5+Caffe+Opencv搭建人脸识别登录界面
![](https://img.aspxhome.com/file/2023/5/103075_0s.jpg)
python 包之 threading 多线程
详解python函数传参是传值还是传引用
![](https://img.aspxhome.com/file/2023/4/63984_0s.jpg)
PHP 图片上传代码
![](https://img.aspxhome.com/file/2023/6/125766_0s.jpg)
基于python获取本地时间并转换时间戳和日期格式
![](https://img.aspxhome.com/file/2023/9/86539_0s.png)