golang实现多协程下载文件(支持断点续传)
作者:山与路 时间:2024-01-31 23:54:34
引言
写这篇文章主要是周末休息太无聊,看了看别人代码,发现基本上要么是多协程下载文件要么就只有单协程的断点续传,所以就试了试有进度条的多协程下载文件(支持断点续传)
package main
import (
"fmt"
"io"
"os"
"regexp"
"strconv"
"sync"
"github.com/qianlnk/pgbar"
)
/**
* 需求:
1. 多协程下载文件
2.断点续连
**/
func main() {
//获取要下载文件
DownloadFileName := "./123.zip"
//copy的文件
copyFileName := "./test.zip"
storgeFileName := "./current.txt"
//打开文件
sfile, err := os.Open(DownloadFileName)
if err != nil {
panic(err)
}
defer sfile.Close()
//获取文件大小
info, _ := sfile.Stat()
downloadSize := info.Size()
var scount int64 = 1
if downloadSize%5 == 0 {
scount *= 5
} else {
scount *= 10
}
//分给每个协程的大小
si := downloadSize / scount
fmt.Printf("文件总大小:%v, 分片数:%v,每个分片大小:%v\n", downloadSize, scount, si)
//open copy file
copyFile, err := os.OpenFile(copyFileName, os.O_CREATE|os.O_WRONLY, os.ModePerm)
if err != nil {
panic(err)
}
storgeFile, err := os.OpenFile(storgeFileName, os.O_CREATE|os.O_RDWR, os.ModePerm)
if err != nil {
panic(err)
}
defer copyFile.Close()
var currentIndex int64 = 0
wg := sync.WaitGroup{}
fmt.Println("协程进度条")
pgb := pgbar.New("")
for ; currentIndex < scount; currentIndex++ {
wg.Add(1)
go func(current int64) {
p := pgb.NewBar(fmt.Sprint((current+1))+"st", int(si))
// p.SetSpeedSection(900, 100)
b := make([]byte, 1024)
bs := make([]byte, 16)
currentIndex, _ := storgeFile.ReadAt(bs, current*16)
//取出所有整数
reg := regexp.MustCompile(`\d+`)
countStr := reg.FindString(string(bs[:currentIndex]))
total, _ := strconv.ParseInt(countStr, 10, 0)
progressBar := 1
for {
if total >= si {
wg.Done()
break
}
//从指定位置开始读
n, err := sfile.ReadAt(b, current*si+total)
if err == io.EOF {
wg.Done()
break
}
//从指定位置开始写
copyFile.WriteAt(b, current*si+total)
storgeFile.WriteAt([]byte(strconv.FormatInt(total, 10)+" "), current*16)
total += int64(n)
if total >= si/10*int64(progressBar) {
progressBar += 1
p.Add(int(si / 10))
}
}
}(currentIndex)
}
wg.Wait()
storgeFile.Close()
os.Remove(storgeFileName)
fmt.Println("下载完成")
}
来源:https://blog.csdn.net/a1309525802/article/details/120814564
标签:golang,多协程,下载
0
投稿
猜你喜欢
python检查字符串是否是正确ISBN的方法
2022-05-10 14:54:01
跨平台、多浏览器页面测试
2008-06-24 11:54:00
Python装饰器使用示例及实际应用例子
2022-01-16 01:59:32
python数据可视化plt库实例详解
2022-11-30 21:23:28
Python NumPy教程之二元计算详解
2023-12-16 18:25:04
Python统计词频的几种方法小结
2023-10-22 05:35:41
MySQL索引的一些常见面试题大全(2022年)
2024-01-13 00:17:30
python生成器用法实例详解
2023-01-24 12:46:58
Sql Server2016 正式版安装程序图解教程
2024-01-21 18:48:53
CSS实例教程:复合型CSS条状图表(下)
2010-01-23 12:52:00
Python 学习教程之networkx
2023-10-11 01:49:07
浅谈django开发者模式中的autoreload是如何实现的
2022-04-03 17:22:04
python 图片去噪的方法示例
2021-12-10 19:42:25
深入浅析同源策略和跨域访问
2024-04-28 09:49:02
JS简单实现文件上传实例代码(无需插件)
2024-04-10 16:19:24
基于Django静态资源部署404的解决方法
2021-09-06 11:59:41
原生JavaScript实现的简单省市县三级联动功能示例
2024-06-05 09:13:24
Python中三元表达式的几种写法介绍
2022-01-24 20:10:10
Flask 使用类组织配置详情
2023-06-15 02:31:30
详解python日期时间处理
2021-08-20 17:07:53