如何利用Golang解析读取Mysql备份文件

作者:daoshud1 时间:2024-01-28 20:51:19 

前言

前期误操作,导致数据库表删除,虽然数据量不多,但是通过binlog恢复比较麻烦,通过备份文件来恢复,备份文件达36个G打开都是问题;

使用备份文件恢复

大文件编辑器,glogg-latest-x86_64-setup通过该文件打开备份文件,虽然过程稍慢,但是能够打开,且正常读取编辑信息,要恢复的数据量不大时采取是没问题的,但是如果表几十万行,操作起来就比较麻烦了;

Golang读取备份文件

采用Golang读取,借助编程语言的优势来读取备份,经过测试读取指定备份文件(约36GB)表,大约需要12min,其实主要就是读取遍历备份文件的过程;


**
* @Author: ws
* @File: main
* @Date: 2019/11/16 0016 14:35
* @Remark:
*/
var(
_INSERT_INTO="INSERTINTO${table}VALUES"
_Dir="temp"
)
var TABLE_CAR="T_SCM_CAR"

func ReadSqlFile(){
t1 := time.Now() // get current time
f, err := os.Open("E:\\update\\crm_20191112_210001.sql\\crm_20191112_210001.sql")
defer f.Close()
if err != nil {
}
buf := bufio.NewReader(f)
nfs:=getTxtFile(TABLE_CAR)
for {
 s, err := buf.ReadString('\n')
 if(err!=nil){
  logger.ERROR(err.Error())
  break
 }
 if err == nil {
  if s==""{
   continue
  }
  sqlstr:=getSqlStr(s,TABLE_CAR)
  if(sqlstr!=""){
   nfs.Write([]byte(sqlstr))
  }
 }
}
elapsed := time.Since(t1)
fmt.Println("App elapsed: ", elapsed)
}
/**
调整验证每一行数据的格式化,并与预设是否一致,如果一致则读取加载到
*/
func getSqlStr(sqlstr,tableName string)string{
var realTableName=strings.Replace(_INSERT_INTO,"${table}",tableName,-1)
replaceEmptyStr:=strings.Replace(sqlstr," ","",-1)
tempS:=strings.ToUpper(strings.Replace(replaceEmptyStr,"`","",-1))
if(len(tempS)>=len(realTableName)) {
 tabName := tempS[0:len(realTableName)]
 if (tabName ==realTableName) {
  return sqlstr
 }
}
return ""
}

/**
打开txt文件
*/
func getTxtFile(fileName string)os.File{
txtFile:=createToFile(fmt.Sprintf("%v/%v.txt",_Dir,fileName))
nfs, err := os.OpenFile(txtFile.Name(), os.O_APPEND |os.O_RDWR|os.O_CREATE, 0644)
if err != nil {
 logger.ERROR(fmt.Sprintf("打开文件失败:%v",err.Error()))
}
defer nfs.Close()
nfs.Seek(0, io.SeekEnd)
return *nfs
}

func readLine(r *bufio.Reader) (string, error) {
line, isprefix, err := r.ReadLine()
for isprefix && err == nil {
 var bs []byte
 bs, isprefix, err = r.ReadLine()
 line = append(line, bs...)
}
return string(line), err
}

func createToFile(fileName string)os.File{
_, err := os.Stat(_Dir)
if err == nil {
}
if os.IsNotExist(err) {
 os.MkdirAll(_Dir, os.ModePerm)
}
newFile, err := os.Create(fileName)
if err != nil {
 logger.ERROR(fmt.Sprintf("文件创建失败:%v",err.Error()))
}
defer func() {
 newFile.Close()
}()
newFile.WriteString("\xEF\xBB\xBF") // 写入UTF-8 BOM,防止中文乱码
return *newFile
}

func main() {
ReadSqlFile()
}

来源:https://www.jianshu.com/p/50b1968c42c6

标签:golang,解析,mysql
0
投稿

猜你喜欢

  • 用python将pdf转化为有声读物

    2021-02-02 10:06:46
  • 详解使用pymysql在python中对mysql的增删改查操作(综合)

    2024-01-14 00:17:13
  • python使用pyshp读写shp文件的实现

    2023-10-02 04:07:13
  • Python类和实例的属性机制原理详解

    2022-12-12 19:47:27
  • 创建mysql表分区的方法

    2024-01-16 11:48:37
  • python自然语言编码转换模块codecs介绍

    2022-10-07 00:48:40
  • Django后端接收嵌套Json数据及解析详解

    2021-04-24 20:11:38
  • mysql 5.7.17 winx64安装配置方法图文教程

    2024-01-25 08:23:38
  • PHP利用header跳转失效的解决方法

    2023-09-07 23:39:45
  • 分享一些可视信息设计资源

    2009-10-06 15:19:00
  • CKeditor富文本编辑器使用技巧之添加自定义插件的方法

    2024-04-18 09:52:24
  • Python phone模块获取手机号归属地 区号 运营商等信息demo

    2023-10-09 10:36:08
  • sqlserver2005利用临时表和@@RowCount提高分页查询存储过程性能示例分享

    2024-01-21 05:41:06
  • 使用python切片实现二维数组复制示例

    2021-11-02 22:24:41
  • Python实现快速排序算法及去重的快速排序的简单示例

    2021-06-02 19:58:09
  • Javascript基础之数组的使用

    2024-04-30 08:54:33
  • PHP微信支付实例解析

    2024-05-02 17:15:56
  • 前端静态资源福利:百度静态JS资源公共库(CDN)

    2022-11-26 22:41:08
  • 正确认识MySQL对服务器端光标的限制

    2008-12-03 15:52:00
  • asp禁止站外盗链、判断星期几方法

    2007-10-02 12:58:00
  • asp之家 网络编程 m.aspxhome.com