python连接kafka加载数据的项目实践
作者:呼伦贝尔-钢蛋儿 时间:2021-04-23 07:14:38
背景:读取TXT文件,加载到kafka中,然后通过logstash消费kafka中的数据加载到es中
第一步:导入相应的依赖包
pip install kafka-python
pip install loguru
pip install msgpack
第二步:编写连接kafka的代码
# -*- coding: utf-8 -*-
import json
import json
import msgpack
from loguru import logger
from kafka import KafkaProducer
from kafka.errors import KafkaError
def kfk_produce_1():
"""
发送 json 格式数据
:return:
"""
producer = KafkaProducer(
//连接kafka集群的配置信息
bootstrap_servers='192.168.85.109:9092',
value_serializer=lambda v: json.dumps(v).encode('utf-8')
)
//这里是你创建topic和打算发送数据的地方
producer.send('python_test_topic', {'key': 'value'})
kfk_produce_1()
第三步:验证是否在kafka中创建topic
kafka的消费者界面上已经出现了创建的topic,并且数据也接收到了
注意:下面的消费者界面的按钮,要先运行起来,选择好kafka环境和topic,group以后,点击那个绿色的运行按钮,就能实时看到发送过来的消息了,😄
问题记录:
然后在使用时,报错提示:ImportError: cannot import name ‘KafkaConsumer’
找了一会儿最后发现自己创建的文件名叫做:kafka.py,突然意识到问题出在哪里了。
原因:
简单说就是因为,创建的文件名是kafka.py,这会导致代码运行时,python解释器查找kafka的模块时,就找到自身kafka.py了,所以就报错。
以后写代码的时候,还是要注意,切记不要用关键字去命名文件,避免不必要的麻烦。
来源:https://blog.csdn.net/qq_38220334/article/details/130718425
标签:python,连接,kafka
0
投稿
猜你喜欢
Ubuntu下创建虚拟独立的Python环境全过程
2021-07-27 13:22:29
jQuery选择器 学习总结
2008-06-15 15:41:00
python中迭代器(iterator)用法实例分析
2023-12-16 05:32:51
Js 按照MVC模式制作自定义控件
2008-10-12 12:11:00
python利用MethodType绑定方法到类示例代码
2023-08-23 08:07:31
XML入门的常见问题(一)
2008-09-05 17:20:00
Python openpyxl 遍历所有sheet 查找特定字符串的方法
2023-08-25 10:22:47
JS实现用户管理系统
2023-08-29 04:51:20
又一个仿alert提示效果
2007-12-24 17:34:00
python中列表(list)和元组(tuple)的深入讲解
2021-08-18 01:39:02
Python中的groupby分组功能的实例代码
2021-09-17 20:48:15
Win7 x64 IIS运行ASP+Access故障完美解决方法(转)
2012-03-27 18:30:35
巧用Dreamweaver MX设计导航栏特效
2009-07-10 13:17:00
基于Python+Tkinter实现一个简易计算器
2021-06-23 00:40:29
保安的故事
2009-12-28 13:02:00
Python+Tkinter实现简单的画图软件
2021-11-11 17:25:45
Python OpenCV实现视频追踪
2021-09-29 23:04:27
详解Python操作Excel之openpyxl
2021-10-13 05:13:21
详解new function(){}和function(){}()
2008-02-28 12:28:00
PHP开发技巧之PHAR反序列化详解
2023-11-15 02:23:45