Qt数据库应用之实现通用数据生成器

作者:feiyangqingyun 时间:2024-01-16 00:37:49 

一、前言

有两种应用场景需要用到数据生成器,一种是需要测试数据库性能,比如在100万条和1000万条记录的时候对比查询或更新语句执行耗时,一种是随机模拟生成一堆数据,用来测试程序的性能,看下程序中到了百万千万级别的数据量的时候,程序的代码执行是否受影响,影响有大等。很多人觉得sqlite数据库性能超过几十万就不行,于是亲自用这个数据发生器随机模拟生成了一亿条记录,测试下来发现性能有损失,但是不像传说中的垃圾,起码还是完全可用的,只要注意索引要建好,文件体积比较大就是,文件体积膨胀到了1.2GB,估计性能损耗很大程度上在磁盘读写。

通过对各种数据库(sqlite、postgres、mysql、sqlserver等)不同数据量阶段(1万条、100万条、1000万条等)做不同的sql语句处理(查询、插入、删除、更新),Qt内置了sqlite数据库,所以对sqlite的支持是最快最友好的,其次是postgresql数据库、然后是mysql,支持最差的性能最低的是ODBC模式连接的数据库,比如sqlserver数据库必须用odbc的形式连接,由于odbc是一个中间层,理论上性能也是肯定没有直接连接处理快,不过纵观各种用Qt写的项目的场景,很少是需要千万级别亿级别的数据量的,真的到了这个程度可以考虑分库分表来解决。

关于Qt数据库相关开发的一些经验总结

二、功能特点

同时支持多种数据库比如odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金仓等。

一个数据库类即可管理本地数据库通信,也支持远程数据库通信等。

数据库线程支持执行各种sql语句,包括单条和批量。

组件中的所有类打印信息、错误信息、执行结果都信号发出去。

集成数据库通用翻页类(负责具体处理逻辑),搭配分页导航控件(负责外观),形成超级牛逼的翻页控件。

集成数据库自动清理类,设定最大记录数后台自动清理早期数据。

集成自定义委托类,支持复选框、文本框、下拉框、日期框、微调框、进度条等。

同时支持Qt4-Qt6,亲测Qt4.6到Qt6.3任意版本,任意系统和编译器。

本组件无故障 360天7乘24小时 运行在至少上万个现场,商业级别品质保证。

每个类都对应完整详细的使用示例,注释详细,非常适合阅读学习。

可以作为独立的程序运行,比如自动清理早期数据,同步数据到云端。

全部线程处理,不卡界面,自动重连数据库。

普通测试情况,sqlite数据库,数据库发生器每秒钟插入1000条记录约0.003秒钟,同时自动清理数据类每秒钟删除1000条记录约0.13秒,不同线程互不干扰。

三、体验地址

体验地址:https://pan.baidu.com/s/15ZKAlptW-rDcNq8zlzdYLg  提取码:uyes 文件名:bin_dbtool.zip

国内站点:https://gitee.com/feiyangqingyun

国际站点:https://github.com/feiyangqingyun

四、效果图

Qt数据库应用之实现通用数据生成器

五、相关代码

void frmDbCreat::on_btnOpen_clicked()
{
   if (ui->btnOpen->text() == "打开数据库") {
       DbInfo dbInfo;
       dbInfo.connName = this->objectName();
       dbInfo.dbName = AppConfig::DbName2;
       dbInfo.hostName = AppConfig::HostName2;
       dbInfo.hostPort = AppConfig::HostPort2;
       dbInfo.userName = AppConfig::UserName2;
       dbInfo.userPwd = AppConfig::UserPwd2;

QString dbType = AppConfig::DbType2.toUpper();
       if (dbType == "SQLITE") {
           dbInfo.dbName = DbHelper::getDbDefaultFile();
       }

dbConn->setConnInfo(DbHelper::getDbType(dbType), dbInfo);
       if (dbConn->openDb()) {
           dbConn->start();
           ui->btnOpen->setText("关闭数据库");
       } else {
           QString error = dbConn->getDatabase().lastError().text();
           QUIHelper::showMessageBoxError("打开数据库失败!\n" + error, 3);
       }
   } else {
       dbConn->stop();
       dbConn->closeDb();
       ui->btnOpen->setText("打开数据库");
       on_btnClear_clicked();
   }

QTimer::singleShot(100, this, SLOT(getMaxID()));
   QTimer::singleShot(1000, this, SLOT(on_btnStart_clicked()));
}

void frmDbCreat::on_btnCopy_clicked()
{
   //将数据库设置参数一键粘贴过来
   ui->cboxDbType->setCurrentIndex(ui->cboxDbType->findText(AppConfig::LocalDbType));
   ui->txtDbName->setText(AppConfig::LocalDbName);
   ui->txtHostName->setText(AppConfig::LocalHostName);
   ui->txtHostPort->setText(QString::number(AppConfig::LocalHostPort));
   ui->txtUserName->setText(AppConfig::LocalUserName);
   ui->txtUserPwd->setText(AppConfig::LocalUserPwd);
}

void frmDbCreat::getMaxID()
{
   if (!dbConn->getOk()) {
       return;
   }

//根据插入sql语句取出对应的表名和自增字段
   QString sqlColumn = AppConfig::SqlColumn2;
   QString sqlValue = AppConfig::SqlValue2;
   if (sqlValue.contains("AUTO_INCREMENT")) {
       sqlColumn.replace("insert into ", "");
       sqlValue.replace("values", "");
       QString tableName = sqlColumn.split("(").first();
       sqlColumn.replace(tableName, "");
       sqlColumn.replace("(", "");
       sqlColumn.replace(")", "");
       sqlValue.replace("(", "");
       sqlValue.replace(")", "");

QStringList listColumn = sqlColumn.split(",");
       QStringList listValue = sqlValue.split(",");
       int index = listValue.indexOf("'AUTO_INCREMENT'");
       QString columnName = listColumn.at(index);
       //取出最大记录数
       maxID = DbHelper::getMaxID(tableName, columnName, dbConn->getDatabase());
   }
}

void frmDbCreat::on_btnDo_clicked()
{
   if (!dbConn->getOk()) {
       return;
   }

QString sql = AppConfig::SqlColumn2 + " " + AppConfig::SqlValue2;
   //qDebug() << TIMEMS << sql;

QStringList sqls;
   for (int i = 0; i < AppConfig::Count2; ++i) {
       QString temp = sql;
       //替换自增ID
       maxID++;
       temp.replace("AUTO_INCREMENT", QString::number(maxID));
       //替换时间
       temp.replace("DATETIME", DATETIME);
       sqls << temp;
   }

dbConn->append(sqls);
}

void frmDbCreat::on_btnCount_clicked()
{
   dbConn->selectCount("LogInfo", "LogID", "where 1=1");
}

void frmDbCreat::on_btnStart_clicked()
{
   if (ui->btnStart->text() == "启动服务") {
       on_btnDo_clicked();
       timer->start();
       ui->btnStart->setText("停止服务");
   } else {
       timer->stop();
       ui->btnStart->setText("启动服务");
   }
}

来源:https://blog.csdn.net/feiyangqingyun/article/details/123001131

标签:Qt,数据库,数据生成器
0
投稿

猜你喜欢

  • jquery validate.js表单验证的基本用法入门

    2023-07-02 05:30:47
  • Pandas —— resample()重采样和asfreq()频度转换方式

    2023-12-10 16:51:09
  • Python操作PDF实现制作数据报告

    2022-05-09 21:41:51
  • javascript自启动函数的问题探讨

    2024-04-30 08:55:57
  • 解析SQL Server中数据库快照的工作原理

    2009-02-19 17:04:00
  • 分享10个免费超棒的编程用等宽字体

    2023-12-06 11:28:32
  • Pyhton中单行和多行注释的使用方法及规范

    2021-11-21 12:13:00
  • ASP+MSSQL2000 数据库被批量注入后的解决方法第1/2页

    2011-04-06 10:50:00
  • 移动网站开发:标记语言

    2010-06-08 13:42:00
  • php mysql获取表字段名称和字段信息的三种方法

    2023-11-18 22:47:26
  • WorkBench管理操作MySQL

    2010-10-14 14:21:00
  • Python利用3D引擎做一个太阳系行星模拟器

    2022-02-03 11:00:58
  • 在Django中创建URLconf相关的通用视图的方法

    2021-09-17 06:07:58
  • Python 计算机视觉编程进阶之OpenCV 进行霍夫变换

    2022-02-10 07:23:08
  • python pytorch图像识别基础介绍

    2021-02-02 03:13:13
  • golang中字符串MD5生成方式总结

    2024-04-23 09:41:05
  • 简单谈谈MySQL数据透视表

    2024-01-25 05:42:07
  • 使用numpy.ndarray添加元素

    2022-10-31 06:12:15
  • python控制台打印log输出重复的解决方法

    2021-02-23 04:05:17
  • DropDownList绑定选择数据报错提示异常解决方案

    2023-07-18 04:36:13
  • asp之家 网络编程 m.aspxhome.com