实战手记:让百万级数据瞬间导入SQL Server
来源:asp之家 时间:2010-06-07 14:13:00
想必每个DBA都喜欢挑战数据导入时间,用时越短工作效率越高,也充分的能够证明自己的实力。实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本文将向大家推荐一个挑战4秒极限让百万级数据瞬间导入SQL Server实验案例。
本实验将使用5中方法完成这个过程,并详细记录各种方法所耗费的时间。所用到工具为Visual Studio 2008和SQL Server 2000、SQL Server 2008,分别使用5中方法将100万条数据导入SQL Server 2000与SQL Server 2008中,实验环境是DELL 2850双2.0GCPU,2G内存的服务器。感兴趣的朋友可以下载源代码自己验证一下所用时间。
好了,下面我们分别使用基本的Insert 语句、使用BULK INSERT语句、在多线程中使用BULK INSERT、使用SqlBulkCopy类、在多线程中使用SqlBulkCopy类五种方法,挑战4秒极限。还要有一点需要进行说明,本实验中执行SQL语句的地方使用了IsLine FrameWork框架中的DataProvider模块,这个模块只是对SQL配置的读取和封装,并不会对最终结果有本质性的影响,关于IsLine FrameWork框架方面的知识,请参考“IsLine FrameWork”框架系列文章。
数据库方面使用SQL Server 2000与SQL Server 2008,表名TableB,字段名称为Value1,数据库名可以在App.config中修改,默认为test。
方法一.使用基本的Insert 语句
这种方法是最基本的方法,大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作,是不是这样呢?
本方法中将100万数据分为10个批次,每个批次10万条,每10万条1个事务,分10次导入数据库。
-->基本语句:
Insert Into TableB (Value1) values (‘”+i+”’); 说明:语句中的i是宿主程序中的一个累加变量,用于填充数据库字段中的值。
SQL Server 2000 耗时:901599
SQL Server 2008耗时:497638
方法二.使用BULK INSERT语句
这个类的效果,在本实验中可以说是最令人满意的了,它的使用最简便、灵活,速度很快。
“BULK INSERT”语句似乎不是很常用, Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表,然后直接将临时表中的数据导入Oracle其他表中的方法,这种方法的速度非常令人满意,SQL SERVER的BULK INSERT是不是同样令人满意呢?
--> 基本语句:
BULK INSERT TableB FROM '
c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER
/.,mbMINATOR='|',BATCHSIZE = 100000)
说明:“c:\\sql.txt”是一个预先生成的包含100条数据的文件,这些数据以“|”符号分隔,每10万条数据一个事务。
SQL Server 2000耗时:4009
SQL Server 2008耗时:10722
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
PL/SQL number型数据
多表关联同时更新多条不同的记录方法分享
![](https://img.aspxhome.com/file/UploadPic/201111/3/2011113173525189.jpg)
22个HTML5的初级技巧
![](https://img.aspxhome.com/file/UploadPic/201012/17/01-40s.jpg)
Christopher Schmitt 谈学习CSS的益处
在 SQL Server 数据库开发中的十大问题
asp 正则实现清除html文本格式的函数代码
影响SQL Server性能的关键三个方面
10个提高网站可用性的实用技巧[译]
![](https://img.aspxhome.com/file/UploadPic/20096/12/e110ff69d4158da954232063c6e0f6d7-48s.jpeg)
MySQL中如何定义外键
ASP编码问题的深入研究与解决方案(MSDN)
ASP中Session技巧 默认过期时间为20分钟
理清mysql外链的含义和命令
将HTML表单数据存储为XML格式
ASP图片分页代码 (通用)
数据库主键的故事
如何判断字段的类型?
CSS 超链接图标规范 V1.0
![](https://img.aspxhome.com/file/UploadPic/200712/28/2007122813031671s.gif)