解决Pymongo insert时会自动添加_id的问题
作者:microfat992 发布时间:2021-07-21 04:13:24
在使用pymongo时遇到了一个小坑:
在Flask框架中,将字典插入mongodb后再返回就报错
@app.route('xxxx')
def main():
...
data = {
'a':'a',
'b':'b'
}
mycol.insert_one(data)
return data
Traceback (most recent call last):
File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2464, in __call__
return self.wsgi_app(environ, start_response)
File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2450, in wsgi_app
response = self.handle_exception(e)
File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1867, in handle_exception
reraise(exc_type, exc_value, tb)
File "/home/xiang/.local/lib/python3.6/site-packages/flask/_compat.py", line 39, in reraise
raise value
File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2447, in wsgi_app
response = self.full_dispatch_request()
File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1953, in full_dispatch_request
return self.finalize_request(rv)
File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1968, in finalize_request
response = self.make_response(rv)
File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2112, in make_response
rv = jsonify(rv)
File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 370, in jsonify
dumps(data, indent=indent, separators=separators) + "\n",
File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 211, in dumps
rv = _json.dumps(obj, **kwargs)
File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/__init__.py", line 412, in dumps
**kw).encode(obj)
File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 298, in encode
chunks = list(chunks)
File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 696, in _iterencode
for chunk in _iterencode_dict(o, _current_indent_level):
File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 652, in _iterencode_dict
for chunk in chunks:
File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 716, in _iterencode
o = _default(o)
File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 100, in default
return _json.JSONEncoder.default(self, o)
File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 273, in default
o.__class__.__name__)
TypeError: Object of type ObjectId is not JSON serializable
这是由于pymongo在进行插入操作时,如果字典中没有‘_id',会自动添加‘_id',而它的值为ObjectId实例,flask在对返回值进行编码时无法编码ObjectId类型实例,所以报错,解决办法就是去掉‘_id'或者mycol.insert_one(data.copy())
补充知识:pymongo去重: 插入数据时,不存在则插入,存在则不执行
爬虫想把爬取的数据存入到mongoDB中, 这时候经常遇到的一个需求就是插入的数据已经存在数据库中, 因此插入前去重就是一个经常性的课题.
我的想法是:
如果数据库中已经存在这个数据, 那么就什么也不操作
如果数据不存在, 则插入这个数据
为了实现这个想法, 查了很多文献, 发现使用update 可以实现
下面就是我测试的代码
# 首先在数据中插入一条数据
document = {
'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
'c_name': 'Ken',
'c_star': '5.0',
'bought': None,
'c_time': '2017年3月23日',
'c_userful': 13,
'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。'],
'gmt_create': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
}
collection.insert(document)
通过mongoDB可视化工具查看数据库,发现数据已经存在
要实现如果不存在就插入,如果存在就不插入的要求,我们需要用到 update的一个参数:‘$setOnInsert'
$setOnInsert官方文档点击查看
通过阅读官方文档我们可以发现 与$setOnInsert方法想配合的最重要的参数就是 upsert:True
update源码中的upsert参数默认为False,只需要将update方法的upsert参数修改为True是否就能达到需要的效果呢?
现在我们执行相同数据的插入看看效果
# 首先需要限定一个重复的条件,比如我们想除了gmt_create参数以外,全部不一样就算不重复, 先限定一个条件
result_find = {
'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
'c_name': 'Ken',
'c_star': '5.0',
'bought': None,
'c_time': '2017年3月23日',
'c_userful': 13,
'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので',
'「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。']
}
# 执行 update
collection.update(
result_find,
{'$setOnInsert': document},
upsert=True
)
执行完之后, 去数据库中查看,发现还是原来的那条数据, 并没有多出一条来, 说明可以实现 如果存在就不操作的要求
那么能实现 如果不存在就插入的要求吗?
我们去数据库可视化工具中 把数据库中的数据删除, 然后执行下面操作
document = {
'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
'c_name': 'Ken',
'c_star': '5.0',
'bought': None,
'c_time': '2017年3月23日',
'c_userful': 13,
'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。'],
'gmt_create': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
}
result_find = {
'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
'c_name': 'Ken',
'c_star': '5.0',
'bought': None,
'c_time': '2017年3月23日',
'c_userful': 13,
'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので',
'「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。']
}
# collection.insert(document)
collection.update(
result_find,
{'$setOnInsert': document},
upsert=True
)
然后我们发现数据中出现了我们想看到的这条数据
所以, 实现了我们的要求: 存在则不操作, 不存在则插入.
来源:https://blog.csdn.net/MacwinWin/article/details/108702926
猜你喜欢
- 首先这个是7米当时问我一个问题,不过可惜我不知道怎么解决,后来知道解决方法很简单,只是添加了一个margin-top:-1em就
- Python 提供了很多内置的工具函数(Built-in Functions),在最新的 Python 3 官方文档中,它列出了 69 个。
- 很多网站现在都有使用QQ作为在线客服工具,我们点击它可以很方便的和网站人员联系,本站为你整理了在网站上使用QQ在线客服的代码,共13种风格,
- 本文使用的是163邮件进行测试。注:163邮箱现在需要使用 客户端授权码 进行测试,不再支持邮箱密码进行测试。
- 概要不要以为 Python 有自动垃圾回收就不会内存泄漏,本着它有“垃圾回收”我有“垃圾代码”的精神,现在总结一下三种常见的内存泄漏场景。无
- 相信每个前端工程师都有自己喜爱的javascript框架,说情感也好,道信仰也罢,javascript框架带给人的不仅仅是便捷的开发,更有一
- 文件上传是所有UI自动化测试都要面对的一个头疼问题,今天博主在这里给大家分享下自己处理文件上传的经验,希望能够帮助到广大被文件上传坑住的se
- 引言在已有的网站中,几乎所有的网站都已经实现了 自动登录所谓自动登录,其实就是在你登录后,然后关闭浏览器,接着再启动浏览器重新进入刚刚的网站
- 在使用可视化树的过程中,报错了。说是‘dot.exe'not found in path原代码:# import tools nee
- 案例:如果我们起了一个协程,但这个协程出现了panic,但我们没有捕获这个协程,就会造成程序的崩溃,这时可以在goroutine中使用rec
- 问:Perl下应当如何连接Access数据库答:首先需要安装Win32-ODBC模块,具体的步骤如下:1:从TOOLS栏目中下载Win32-
- 想要用python自已手动序列化嵌套类,就要明白两个问题:1.Json是什么?2.Json支持什么类型?答案显而易见Json就是嵌套对象Js
- 介绍godep是解决包依赖的管理工具,目前最主流的一种,原理是扫描记录版本控制的信息,并在go命令前加壳来做到依赖管理godep 建议在 g
- 会用到的库的1、selenium的webdriver2、tesserocr或者pytesseract进行图像识别3、pillow的Image
- 1.前序当下载突然断开后,断点续传就需要了,继续前面下载的内容下载。解决了不需要重复下载2.技术原理HTTP/1.1 开始支持断点续传,一般
- ctypes(一) — 初识 很多初学Python的新手,总是嘴边挂着一句话:“Python是一门胶水语言”。可是究竟什
- SQL中的单记录函数1.ASCII返回与指定的字符对应的十进制数;SQL> select ascii('A') A,a
- 如何用python做后端写网页-flask框架 什么是Flask安装flask模块Hello World更深一步:数据绑定后端传入数据从前端
- 本文实例讲述了Python3.6日志Logging模块简单用法。分享给大家供大家参考,具体如下:Logging是一个很方便的模块,用来打印日
- 忘了在哪看到一位编程大牛调侃,他说程序员每天就做两件事,其中之一就是处理字符串。相信不少同学会有同感。几乎任何一种编程语言,都把字符串列为最