go高并发时append方法偶现错误解决分析
作者:gokingliu 时间:2024-02-13 20:30:57
背景
在实现图片转码的需求时,需要支持最大 500 个图片下载后转换格式;
如果是一个一个下载后转码,耗时太长,需要使用 goroutine 实现 500 个图片并发下载后,并发转码;
但自测过程中发现,会偶现下载后只转换了 499 个图片或更少的情况(全部下载、转码成功的条件下);
然后就开始了打印日志找 bug 的过程。
排查问题
因为并发时使用到了 sync 等待全部协程结束,起初以为是 sync 异步等待出了问题;
打印日志发现,正常执行了 500 次下载,执行完成下载之后,继续执行的转码操作,排除 sync 异步等待有问题;
代码如下:
import (
"github.com/satori/go.uuid"
"sync"
)
func downloadFiles(nWait *sync.WaitGroup, urls []interface{}, successFiles *[]string, failedFiles *[]string) {
// 遍历 urls 进行下载
for _, value := range urls {
go func(value interface{}) {
defer nWait.Done() // 执行结束,协程减 1
fullname := config.TranscodeDownloadPath + "/" + uuid.NewV4().String() // 需要确保文件名的唯一性 (防止不同用户同一时间操作了同一文件,导致转码失败)
err := utils.DownloadCeph(value.(string), fullname) // 下载文件
// 下载文件状态记录
if err != nil {
*failedFiles = append(*failedFiles, fullname)
} else {
*successFiles = append(*successFiles, fullname)
}
}(value)
}
}
// 前端传入的图片 url
strUrlList := req["strUrlList"]
// 初始化变量
nWait := sync.WaitGroup{} // 多协程异步等待
var successFiles []string // 下载成功文件
var failedFiles []string // 下载失败文件
// 遍历 strUrlList 进行下载
log.Error("开始下载!长度:", len(strUrlList))
nWait.Add(len(strUrlList)) // 等待协程数
downloadFiles(&nWait, strUrlList, &successFiles, &failedFiles)
nWait.Wait() // 阻塞,等待完成
log.Error("下载结束!长度:", len(successFiles))
//...
log.Error("下载转码!")
//...
日志如下:
2022-10-29 21:28:51.996 ERROR services/tools.go:149 开始下载!长度:500
2022-10-29 21:28:52.486 ERROR services/tools.go:153 下载结束!长度:499
2022-10-29 21:28:52.486 ERROR services/tools.go:155 开始转码!
打印更详细的日志,对 for range 循环内的逻辑进行排查;
在单个 for 循环结束时增加日志:
log.Error("下载协程结束: ", len(*successFiles))
发现一处特殊的日志:
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 63
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 64
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 65
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 65
2022-10-29 21:40:38.408 ERROR services/tools.go:35 下载协程结束: 66
2022-10-29 21:40:38.408 ERROR services/tools.go:35 下载协程结束: 67
两次长度都是 65,切片长度没有发生变化,同一时间点执行两次切片 append 方法,会偶现一次失效,问题原因找到;
解决问题
使用切片索引进行赋值,不再使用 append ;
修复代码如下:
import (
"github.com/satori/go.uuid"
"sync"
)
func downloadFiles(nWait *sync.WaitGroup, urls []interface{}, successFiles *[]string, failedFiles *[]string) {
// 遍历 urls 进行下载
for index, value := range urls {
go func(index int, value interface{}) {
defer nWait.Done() // 执行结束,协程减 1
fullname := config.TranscodeDownloadPath + "/" + uuid.NewV4().String() // 需要确保文件名的唯一性 (防止不同用户同一时间操作了同一文件,导致转码失败)
err := utils.DownloadCeph(value.(string), fullname) // 下载文件
// 下载文件状态记录
if err != nil {
(*failedFiles)[index] = fullname
} else {
(*successFiles)[index] = fullname
}
}(index, value)
}
}
// 前端传入的图片 url
strUrlList := req["strUrlList"]
// 初始化变量
nWait := sync.WaitGroup{} // 多协程异步等待
successFiles := make([]string, len(strUrlList), len(strUrlList)) // 下载成功文件
failedFiles := make([]string, len(strUrlList), len(strUrlList)) // 下载失败文件
// 遍历 strUrlList 进行下载
nWait.Add(len(strUrlList)) // 等待协程数
downloadFiles(&nWait, strUrlList, &successFiles, &failedFiles)
nWait.Wait() // 阻塞,等待完成
来源:https://juejin.cn/post/7159967055217688590
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
浅谈python for循环的巧妙运用(迭代、列表生成式)
基于tkinter中ttk控件的width-height设置方式
![](https://img.aspxhome.com/file/2023/3/62563_0s.png)
Bootstrap笔记之缩略图、警告框实例详解
![](https://img.aspxhome.com/file/2023/9/130489_0s.jpg)
Python手机号码归属地查询代码
![](https://img.aspxhome.com/file/2023/6/67786_0s.png)
多表关联同时更新多条不同的记录方法分享
微信公众号开发之获取位置信息php代码
PHP实现的随机IP函数【国内IP段】
Javascript 中对中文长度对行判断
使用systemd部署服务的过程解析
![](https://img.aspxhome.com/file/2023/5/124675_0s.jpg)
python编译pyc文件的过程解析
![](https://img.aspxhome.com/file/2023/9/105719_0s.png)
python爬取网易云音乐热歌榜实例代码
Python Pygame实战之飞机大战的实现
![](https://img.aspxhome.com/file/2023/7/97107_0s.jpg)
在Python中使用CasperJS获取JS渲染生成的HTML内容的教程
ASP 使用Filter函数来检索数组
Go语言实现RSA加解密算法详解
SQL Server 2000中生成XML的小技巧
Pygame游戏开发之太空射击实战精灵的使用上篇
![](https://img.aspxhome.com/file/2023/6/66346_0s.png)
Navicat连接mysql报错2003(10060)的解决方法
![](https://img.aspxhome.com/file/2023/0/128080_0s.png)