Go Map并发冲突预防与解决

作者:小马别过河 时间:2024-02-19 00:25:24 

背景

关于 Go 语言的 Map,有两个需要注意的特性:

  • Map 是并发读写不安全的,这是出于性能的考虑;

  • Map 并发读写导致的错误,无法使用 recover 捕获。

后者意味着,只有出现并发读写的问题,服务就会挂掉。

这两个特性可能大家都知道,可即使有这个共识,我还是见过这个问题导致的事故。

事故的大致情况是,一个人封装了map的读写,没有使用锁。另一个人开协程读写 map。而测试环境请求量小,不一定会导致崩溃,于是,这个问题就留到生产环境才出现了。

除了靠开发者自觉和 code review,还能怎么预防这种情况呢?我觉得在单元测试加入并行测试也很重要。

并行单元测试

单元测试默认不是并发的,比如下面的单测,是可以通过的:

func TestConcurrent(t *testing.T) {
   var m = map[string]int{}
   // 写 map
   t.Run("write", func(t *testing.T) {
     for i := 0; i < 10000; i++ {
       m["a"] = 1
     }
   })
   // 读 map
   t.Run("read", func(t *testing.T) {
     for i := 0; i < 10000; i++ {
       _ = m["a"]
     }
   })
}

但是我们的期望是,上面的单测不通过,该如何解决呢?

testing.T 有一个 Parallel 方法,它表示当前测试会和其他测试并行运行。 如果参数有-test.count-test.cpu,一个测试可能运行多次,同个测试的多个运行实例,不会并行运行。

我们给上面的单测,加上t.Parallel():

func TestConcurrent(t *testing.T) {
   var m = map[string]int{}
   t.Run("write", func(t *testing.T) {
     // 加上并行
     t.Parallel()
     for i := 0; i < 10000; i++ {
       m["a"] = 1
     }
   })
   t.Run("read", func(t *testing.T) {
     // 加上并行
     t.Parallel()
     for i := 0; i < 10000; i++ {
       _ = m["a"]
     }
   })
}

这次执行就会报错:

fatal error: concurrent map read and map write

支持并发的 Map

让 Map 支持并发读写并不麻烦,常见的做法有:

  • 操作 map 的时候,加上读写锁 sync.RWMutex

  • 使用 sync.Map。

sync.RWMutex 大家用得可能比较多。这里简单给个demo。

sync.RWMutex

我们给上面的单测加上锁,这次运行就能通过了。

func TestConcurrent(t *testing.T) {
var m = map[string]int{}
//  定义锁,零值就可以使用
var mu sync.RWMutex
t.Run("write", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 锁
mu.Lock()
m["a"] = 1
// 解锁
mu.Unlock()
}
})
t.Run("read", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 锁
mu.Lock()
_ = m["a"]
// 解锁
mu.Unlock()
}
})
}

本文的重点介绍一下Go标准库自带的,支持并发读写的 map:sync.Map

sync.Map

sync.Map 就是线程安全版的 map[interface{}]interface{},零值可以直接使用,值不能复制。它主要用于以下场景:

  • 当同一个 key 的值,写少读多的时候;

  • 但多个 goroutines 读写或修改一系列不同的key的时候。

上面两种场景中,比起带Mutex(或RWMutex)的map,sync.Map 会大大减少锁的竞争。

sync.Map 提供的方法不多,这里列出一些。注意的是,any 是 go 1.18 中 interface{}的别名。

Store,设置 key-value。

func (m *Map) Store(key, value any)

Load, 根据 key 读取 value。

func (m *Map) Load(key any) (value any, ok bool)

Delete,删除某个key。

func (m *Map) Delete(key any)

Range,遍历所有key, 如果f返回false,会停止遍历。

func (m *Map) Range(f func(key, value any) bool)

还有 LoadAndDelete(读后删除)、LoadOrStore(读key,不存在时设置)。

我们给上面的单测,使用sync.Map,测试也可以通过。

func TestConcurrent(t *testing.T) {
// 可以使用零值
var m sync.Map
t.Run("write", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 写
m.Store("a", 1)
}
})
t.Run("read", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 读
v, ok := m.Load("a")
if ok {
_ = v.(int)
}
}
})
}

参考

pkg.go.dev/sync#Map

来源:https://juejin.cn/post/7174771881911222327

标签:Go,Map,并发冲突
0
投稿

猜你喜欢

  • [译稿]Web 字体的未来

    2008-07-31 17:50:00
  • python3模拟百度登录并实现百度贴吧签到示例分享(百度贴吧自动签到)

    2023-07-08 23:15:23
  • 开发人员一定要加入收藏夹的网站 推荐

    2023-09-14 23:24:43
  • 简单的抓取淘宝图片的Python爬虫

    2022-01-19 14:42:31
  • 关于微信小程序使用echarts/数据刷新重新渲染/图层遮挡问题

    2024-05-22 10:39:44
  • python的re模块使用方法详解

    2022-08-10 16:18:20
  • Python写的贪吃蛇游戏例子

    2023-06-26 15:50:55
  • vue监听路由变化时watch方法会执行多次的原因及解决

    2024-05-05 09:10:24
  • asp之日期和时间函数示例

    2008-04-13 06:50:00
  • Unity开发VR项目问题总结分析

    2023-04-05 15:23:50
  • PWA介绍及快速上手搭建一个PWA应用的方法

    2024-04-19 09:56:33
  • python如何实现代码检查

    2022-07-22 18:19:12
  • Python数据类型转换详解

    2021-03-04 04:11:13
  • mysql中 datatime与timestamp的区别说明

    2024-01-21 14:45:53
  • 戴着锁链跳舞

    2009-08-20 13:06:00
  • 基于pytorch的lstm参数使用详解

    2023-11-21 08:41:21
  • SQL 实现某时间段的统计业务

    2024-01-24 11:41:03
  • Python入门教程(四十一)Python的NumPy数组索引

    2023-07-17 01:38:55
  • 详解前端自动化工具gulp自动添加版本号

    2023-08-09 14:48:41
  • JS、jQuery中select的用法详解

    2024-04-19 09:57:43
  • asp之家 网络编程 m.aspxhome.com