使用python的pandas库读取csv文件保存至mysql数据库
作者:Jesszen 时间:2024-01-22 00:26:19
第一:pandas.read_csv读取本地csv文件为数据框形式
data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')
第二:如果存在日期格式数据,利用pandas.to_datatime()改变类型
data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])
注意:=号,这样在原始的数据框中,改变了列的类型
第三:查看列类型
print(data.dtypes)
第四:方法一:保存至MYSQL【缺点耗时长】
利用MYSQLdb库,封装成一个类,实现创建表,添加数据的操作,缺点耗时长
class Jess_mysql():
"""
设置mysql类,实现创建数据框,表,及添加数据
"""
def __init__(self):
self.mysql=MySQLdb.connect(user=mysql_name,host=mysql_host,password=mysql_password,database=mysql_database)
self.conn=self.mysql.cursor()
def create_table(self,table_names,col_names):
"""
创建表
:param table_names: 表名
:param col_names: 列名,列表格式
:return:
"""
tables=' varchar(20),'.join(['%s'] *len(col_names))
sql_yuju='create table if not exists `{t}` ({v} varchar(20))'.format(t=table_names,v=tables)#字段需要标注格式
ss=sql_yuju %(tuple(col_names))
print(ss)
self.conn.execute(ss)
self.mysql.commit()
def add_data(self,table_name,col_names,col_data):
"""
:param table_name: 表名
:param col_names: 列名,字段名
:param col_data: 字段值
:return:
"""
colname=','.join(['%s']*len(col_names))
data=','.join(['%s']*len(col_data))
sql_yuju='INSERT INTO `{t}` ({name}) VALUES ({data});'.format(t=table_name,name=colname,data=data)
ss=sql_yuju%(*col_names,*col_data)
#print(ss)
self.conn.execute(ss)
self.mysql.commit()
第五:利用sqlalchemy的create_engine()方法
1、创建连接
import sqlalchemy
#engine=sqlalchemy.create_engine('mysql + mysqldb://root:123456@118.24.26.227:3306/python_yuny')
engine=sqlalchemy.create_engine('mysql+mysqldb://{user}:{password}@{host}:3306/{database}'.format
(user=mysql_name,password=mysql_password,host=mysql_host,database=mysql_database))
2、利用pd.io.sql.to_sql()
pd.io.sql.to_sql(frame=data,name='yunying',con=engine,index=False,if_exists='append')
注意相关参数的设置。
此外,保存到mysql中,需要注意日期格式的列,因为在mysql对应的field设置格式为varchar(20)后,原始的日期2015-8-9,写入数据库,只有2015,这需要两步操作。
a、上面第二目录的,利用pandas.to_datetime(,format='%Y-%m-%d') #format的格式要和原始字符2016-8-9格式一样
b、利用datetime库,实现format='%Y%m%d'
x=data.shape[0]
for i in range(x):
col_data=list(df.iloc[i,:])
col_data[1]=datetime.date.strftime(col_data[1],'%Y%d%m')
•这一步后,日期格式由原始的2016-6-2,转为20160606,就可以以写入数据库对应的字段【其字段类型varchar(20)】
第六:读取mysql的数据
df=pd.read_sql('select * from %s'%table_name,con=engine,index_col=None)
默认不设置索引列,可以自行指定索引列名。
总结
以上所述是小编给大家介绍的使用python的pandas库读取csv文件保存至mysql数据库网站的支持!
来源:https://blog.csdn.net/Jesszen/article/details/81839163
标签:pandas,csv,python
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Python assert断言声明,遇到错误则立即返回问题
2022-05-10 13:38:50
SQL语句执行顺序图文介绍
2023-07-04 22:59:27
![](https://img.aspxhome.com/file/UploadPic/201211/30/20121130203549375s.png)
根据对象的某一属性进行排序的js代码(如:name,age)
2023-08-31 14:05:43
浅析Golang中字符串拼接问题
2024-04-28 09:17:07
![](https://img.aspxhome.com/file/2023/6/134006_0s.png)
Python实现将sqlite数据库导出转成Excel(xls)表的方法
2024-01-18 02:05:10
python进阶_浅谈面向对象进阶
2022-01-22 17:02:06
深入浅析python 协程与go协程的区别
2022-02-16 23:57:26
python 多进程通信模块的简单实现
2021-06-13 08:21:32
PJBlog3优化——301定向跳转解决重复内容的问题
2009-05-20 10:40:00
python爬取股票最新数据并用excel绘制树状图的示例
2023-11-23 14:37:24
![](https://img.aspxhome.com/file/2023/7/82887_0s.png)
MySQL怎么给字符串字段加索引
2024-01-25 10:19:57
![](https://img.aspxhome.com/file/2023/3/67593_0s.jpg)
Pycharm基本操作及调试代码
2022-08-13 08:38:55
![](https://img.aspxhome.com/file/2023/8/76038_0s.jpg)
pyqt5 从本地选择图片 并显示在label上的实例
2022-12-12 17:48:04
![](https://img.aspxhome.com/file/2023/1/94001_0s.jpg)
django2.2安装错误最全的解决方案(小结)
2022-06-14 20:37:19
网站重构 CSS样式表的优化技巧
2009-05-12 11:51:00
使用豆瓣提供的国内pypi源 <font color=red>原创</font>
2023-05-31 20:39:09
关于torch.optim的灵活使用详解(包括重写SGD,加上L1正则)
2023-06-06 07:58:32
python Celery定时任务的示例
2023-12-28 14:08:39
![](https://img.aspxhome.com/file/2023/3/134433_0s.png)
php获取访问者IP地址汇总
2023-11-14 12:14:06
菜鸟课堂:详述如何提高MySQL中数据装载效率
2009-10-23 14:29:00