在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

作者:balahoho 时间:2023-02-13 19:31:10 

发现问题

需求很简单,大致就是要批量往数据库写数据,于是打算用Parallel并行的方式写入,希望能利用计算机多核特性加快程序执行速度。想的很美好,于是快速撸了类似下面的一串代码:


using (var db = new SmsEntities())
{
Parallel.For(0, 1000, (i) =>
{
db.MemberCard.Add(new MemberCard()
{
CardNo = "NO_" + i.ToString(),
Banlance = 0,
CreateTime = DateTime.Now,
Name = "Test_" + i.ToString(),
Status = 1
});
});
db.SaveChanges();
}

可意外的是竟然无情的报错了:

在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

奇葩的是当我再次刷新的时候异常又不一样了,于是连着刷新好多次,总结出现过的异常有下面这些:

1、 未将对象引用设置到对象的实例。

2、 已添加了具有相同键的项。

3、 集合已修改;可能无法执行枚举操作。

4、 一个 EdmType 不能多次映射到 CLR 类。EdmType“SmsModel.MemberCard”映射了一次以上。

其中1和2是出现最多的,而且所有异常都是出现在Add的时候,各种吃瓜表情~没办法,接着一一断点调试,还是没找出原因,出于进度考虑,换成了另一种方案,也就是用DbSet的AddRange方法。先在Parallel中累加出一个实体List,然后一次性添加到DbSet中,代码演变为:


List<MemberCard> list = new List<MemberCard>();
using (var db = new SmsEntities())
{
var result = Parallel.For(0, 1000, (i) =>
{
list.Add(new MemberCard()
{
CardNo = "NO_" + i.ToString(),
Banlance = 0,
CreateTime = DateTime.Now,
Name = "Test_" + i.ToString(),
Status = 1
});
});
if (result.IsCompleted)
{
db.MemberCard.AddRange(list);
db.SaveChanges();
}
}

然后编译、测试,没问题,就先放着了。

分析问题

第二天到公司心里还在纠结这个问题,于是打开页面输入生成的数据量1000(真实项目中的循环次数是手动输入的),点按钮提交,嗯,又吃瓜般的异常了…:

在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

心想昨天测试都好好的啊(其实昨天输入的是10,心虚脸...),没办法,上断点吧,一看吓一跳:

在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

明明循环1000次,结果只有971条数据,而且里面还有为null的,经过多次调试发现这是一个随机现象,Count是随机的null也是随机的,有时出现有时没有,初步判断这是一个在多线程情况下引发的一个资源调配异常。So,上MSDN看了一下List的介绍,最后面“线程安全”写着:

一切貌似都清楚了,于是打算验证一下结果,加上了锁,测试结果为:

在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

list里面也没有再出现null了,确认是因为多线程安全引起的异常。于是想起昨天那个问题是否也是同样的问题,再上MSDN搜了一下DbContext类和DbSet类,都是这样说的:

接着就给dbcontext上了锁,测试,这次总算如我所料,完美运行。但是不解的是最初那几个异常是如何产生的,List中虽然数量不够也存在为null的对象,但是并没有直接爆出异常。现在只知道是线程问题,再详细的也搞不清楚,有知道的大神还麻烦指点一下。

寻找解决方案并验证结论

也想过用Partitioner分区来做,但是仔细一想,虽然分区内部是单线程,但是区与区之间还是多线程的,如果分的太细也就失去了Parallel的意义,只得另寻出路。还好Framework为我们也提供了一些线程安全的泛型集合(比如ConcurrentBag、ConcurrentQueue等),不过其本质还是用了锁,于是就综合做了一下单线程list、多线程list加锁、多线程ConcurrentBag、多线程ConcurrentQueue的性能对比,结果如下:

循环1000次时:

在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

循环10000次时:

在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

循环100000次时:

在Parallel中使用DbSet.Add()发现的一系列多线程问题和解决思路详解

得出结论就是,在执行次数超大时用线程安全类型会更慢,在执行次数较少时线程安全类型也没什么优势。

解决问题

最后在经过仔细测试验证和考虑项目实际需求(几乎不可能一次10000)后,去繁从简,回归原始,用最简单直白的写法单线程循环来完成。虽然一番折腾下来还是回到最初,但是这过程中让我发现了意料之外问题,然后找到了原因,然后测试验证,最终得到了最优解决方案。还是那句话,填完坑,你就比之前更强大了!

来源:http://www.cnblogs.com/hohoa/p/6060228.html

标签:parallel,多线程
0
投稿

猜你喜欢

  • Android 中 SwipeLayout一个展示条目底层菜单的侧滑控件源码解析

    2022-03-10 14:25:33
  • springboot vue完成发送接口请求显示响应头信息

    2023-06-05 02:45:34
  • 分析Android 11.0Settings源码之主界面加载

    2021-05-25 23:15:02
  • Java线程池 ThreadPoolExecutor 详解

    2021-05-24 10:35:42
  • Java数据类型的全面剖析

    2022-07-09 06:51:38
  • Android 使用Pull方法解析XML文件的方法

    2021-08-11 21:02:16
  • Java 面试题和答案 -(上)

    2023-10-08 08:15:56
  • c# 实现语音聊天的实战示例

    2021-11-18 06:29:20
  • java swing 创建一个简单的QQ界面教程

    2022-09-08 06:51:39
  • MultipartResolver实现文件上传功能

    2021-06-19 22:38:15
  • SpringBoot2使用JTA组件实现基于JdbcTemplate多数据源事务管理(亲测好用)

    2021-10-12 06:36:09
  • Java 使用getClass().getResourceAsStream()方法获取资源

    2023-07-23 08:59:56
  • JavaWeb如何实现禁用浏览器缓存

    2021-09-13 01:27:45
  • SpringMVC中Controller类数据响应的方法

    2021-10-07 21:00:08
  • elasticsearch数据信息索引操作action support示例分析

    2022-03-18 02:09:07
  • Java容器HashMap与HashTable详解

    2022-03-05 19:25:00
  • 基于JDK8总结java中的interrupt

    2021-12-27 07:43:54
  • c#实现KTV点歌系统

    2023-10-17 23:54:56
  • 实现Android 滑动退出Activity的功能

    2023-04-24 03:00:34
  • Android模拟器对应的电脑快捷键说明

    2022-11-09 17:44:07
  • asp之家 软件编程 m.aspxhome.com