华域联盟 .Net .Net Core导入千万级数据至Mysql数据库的实现方法

.Net Core导入千万级数据至Mysql数据库的实现方法

.Net Core导入千万级数据至Mysql数据库的实现方法
 更新时间:2021年05月20日 14:25:51   作者:chingho  

今天我们谈谈MySQL怎么高性能插入千万级的数据的,讨论这个问题牵扯到一个数据迁移功能,高性能的插入数据,接下来通过本文给大家分享几种实现方法,感兴趣的朋友跟随小编一起学习下吧

目录前期准备订单测试表测试环境实现方法:1、单条数据插入2、合并数据插入3、MySqlBulkLoader插入性能测试对比最后​最近在工作中,涉及到一个数据迁移功能,从一个txt文本文件导入到MySQL功能。
数据迁移,在互联网企业可以说经常碰到,而且涉及到千万级、亿级的数据量是很常见的。大数据量迁移,这里面就涉及到一个问题:高性能的插入数据。
今天我们就来谈谈MySQL怎么高性能插入千万级的数据。
我们一起对比以下几种实现方法:
前期准备
订单测试表

CREATE TABLE `trade` (
`id` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
`trade_no` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',
UNIQUE INDEX `id` (`id`),
INDEX `trade_no` (`trade_no`)
)
COMMENT='订单'
COLLATE='utf8_unicode_ci'
ENGINE=InnoDB;

测试环境

操作系统:Window 10 专业版
CPU:Inter(R) Core(TM) i7-8650U CPU @1.90GHZ 2.11 GHZ
内存:16G
MySQL版本:5.7.26

实现方法:
1、单条数据插入
这是最普通的方式,通过循环一条一条的导入数据,这个方式的缺点很明显就是每一次都需要连接一次数据库。
实现代码:

//开始时间
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();

//插入10万数据
for (var i = 0; i < 100000; i++)
{
//插入
var sql = string.Format("insert into trade(id,trade_no) values('{0}','{1}');",
Guid.NewGuid().ToString(), "trade_" + (i + 1)
);
var sqlComm = new MySqlCommand();
sqlComm.Connection = conn;
sqlComm.CommandText = sql;
sqlComm.ExecuteNonQuery();
sqlComm.Dispose();
}

conn.Close();
}

//完成时间
var endTime = DateTime.Now;

//耗时
var spanTime = endTime - startTime;
Console.WriteLine("循环插入方式耗时:" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10万条测试耗时:

上面的例子,我们是批量导入10万条数据,需要连接10万次数据库。我们把SQL语句改为1000条拼接为1条,这样就能减少数据库连接,实现代码修改如下:

//开始时间
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();

//插入10万数据
var sql = new StringBuilder();
for (var i = 0; i < 100000; i++)
{
//插入
sql.AppendFormat("insert into trade(id,trade_no) values('{0}','{1}');",
Guid.NewGuid().ToString(), "trade_" + (i + 1)
);

//合并插入
if (i % 1000 == 999)
{
var sqlComm = new MySqlCommand();
sqlComm.Connection = conn;
sqlComm.CommandText = sql.ToString();
sqlComm.ExecuteNonQuery();
sqlComm.Dispose();
sql.Clear();
}
}

conn.Close();
}

//完成时间
var endTime = DateTime.Now;

//耗时
var spanTime = endTime - startTime;
Console.WriteLine("循环插入方式耗时:" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10万条测试耗时:

通过优化后,原本需要10万次连接数据库,只需连接100次。从最终运行效果看,由于数据库是在同一台服务器,不涉及网络传输,性能提升不明显。
2、合并数据插入
在MySQL同样也支持,通过合并数据来实现批量数据导入。实现代码:

//开始时间
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();

//插入10万数据
var sql = new StringBuilder();
for (var i = 0; i < 100000; i++)
{
if (i % 1000 == 0)
{
sql.Append("insert into trade(id,trade_no) values");
}

//拼接
sql.AppendFormat("('{0}','{1}'),", Guid.NewGuid().ToString(), "trade_" + (i + 1));

//一次性插入1000条
if (i % 1000 == 999)
{
var sqlComm = new MySqlCommand();
sqlComm.Connection = conn;
sqlComm.CommandText = sql.ToString().TrimEnd(',');
sqlComm.ExecuteNonQuery();
sqlComm.Dispose();
sql.Clear();
}
}


conn.Close();
}

//完成时间
var endTime = DateTime.Now;

//耗时
var spanTime = endTime - startTime;
Console.WriteLine("合并数据插入方式耗时:" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10万条测试耗时:

通过这种方式插入操作明显能够提高程序的插入效率。虽然第一种方法通过优化后,同样的可以减少数据库连接次数,但第二种方法:合并后日志量(MySQL的binlog和innodb的事务让日志)减少了,降低日志刷盘的数据量和频率,从而提高效率。同时也能减少SQL语句解析的次数,减少网络传输的IO。
3、MySqlBulkLoader插入
MySQLBulkLoader也称为LOAD DATA INFILE,它的原理是从文件读取数据。所以我们需要将我们的数据集保存到文件,然后再从文件里面读取。
实现代码:

//开始时间
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
conn.Open();
var table = new DataTable();
table.Columns.Add("id", typeof(string));
table.Columns.Add("trade_no", typeof(string));

//生成10万数据
for (var i = 0; i < 100000; i++)
{
if (i % 500000 == 0)
{
table.Rows.Clear();
}

//记录
var row = table.NewRow();
row[0] = Guid.NewGuid().ToString();
row[1] = "trade_" + (i + 1);
table.Rows.Add(row);

//50万条一批次插入
if (i % 500000 != 499999 && i < (100000 - 1))
{
continue;
}
Console.WriteLine("开始插入:" + i);

//数据转换为csv格式
var tradeCsv = DataTableToCsv(table);
var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + "trade.csv";
File.WriteAllText(tradeFilePath, tradeCsv);

#region 保存至数据库
var bulkCopy = new MySqlBulkLoader(conn)
{
FieldTerminator = ",",
FieldQuotationCharacter = '"',
EscapeCharacter = '"',
LineTerminator = "\\r\\n",
FileName = tradeFilePath,
NumberOfLinesToSkip = 0,
TableName = "trade"
};

bulkCopy.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());
bulkCopy.Load();
#endregion
}

conn.Close();
}

//完成时间
var endTime = DateTime.Now;

//耗时
var spanTime = endTime - startTime;
Console.WriteLine("MySqlBulk方式耗时:" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10万条测试耗时:

注意:MySQL数据库配置需开启:允许文件导入。配置如下:
secure_file_priv=
性能测试对比
针对上面三种方法,分别测试10万、20万、100万、1000万条数据记录,最终性能入如下:

最后
通过测试数据看,随着数据量的增大,MySqlBulkLoader的方式表现依旧良好,其他方式性能下降比较明显。MySqlBulkLoader的方式完全可以满足我们的需求。
以上就是.Net Core导入千万级数据至Mysql数据库的详细内容,更多关于.Net Core导入千万级数据至Mysql的资料请关注华域联盟其它相关文章!

您可能感兴趣的文章:.Net Core导入千万级数据至Mysql的步骤详解MySQL数据库千万级数据查询和存储mysql千万级数据量根据索引优化查询速度的实现MySQL循环插入千万级数据MySQL 千万级数据量如何快速分页mysql千万级数据分页查询性能优化mysql千万级数据大表该如何优化?MySQL单表千万级数据处理的思路分享

.Net
Core
导入数据
Mysql

相关文章
安装 VS2005 SP1 有关问题的解决办法安装 VS2005 SP1 有关问题的解决办法... 2007-04-04
asp.net音频转换之.amr转.mp3(利用七牛转换法)相信很多人都遇到amr格式的音频文件不能直接在网页播放的问题,有人使用QuickTime插件的辅助,下面这篇文章主要给大家介绍了asp.net音频转换之利用七牛转换法将.amr格式转.mp3格式,需要的朋友可以参考借鉴,下面来一起看看吧。 2016-12-12
firebird Embedded模式(.net 3.5)实现的关键:copy fbembed.dll icudt30.dll icuuc30.dll到system32文件夹下 2008-12-12
详解如何在ASP.NET Core中使用IHttpClientFactory这篇文章主要介绍了详解如何在ASP.NET Core中使用IHttpClientFactory,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 2021-02-02
.net 通过URL推送POST数据具体实现这篇文章主要介绍了.net 通过URL推送POST数据具体实现,有需要的朋友可以参考一下 2013-12-12
mvc实现图片验证码功能这篇文章主要为大家详细介绍了mvc实现图片验证码,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 2018-12-12
ASP.Net中的async+await异步编程的实现这篇文章主要介绍了ASP.Net中的async+await异步编程的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 2020-08-08
ASP.NET笔记之 控件与母板的区别分析本篇文章小编为大家介绍,ASP.NET笔记之 控件与母板的区别分析。需要的朋友参考下 2013-04-04
asp.net中一次性动态绑定多个droplistdownasp.net中一次性动态绑定多个droplistdown的实现代码,需要的朋友可以参考下。 2011-10-10
.Net RabbitMQ实现HTTP API接口调用RabbitMQ Management插件还提供了基于RESTful风格的HTTP API接口来方便调用。本文就主要介绍了.Net RabbitMQ实现HTTP API接口调用,感兴趣的可以了解一下 2021-06-06

最新评论

本文由 华域联盟 原创撰写:华域联盟 » .Net Core导入千万级数据至Mysql数据库的实现方法

转载请保留出处和原文链接:https://www.cnhackhy.com/4907.htm

本文来自网络,不代表华域联盟立场,转载请注明出处。

作者:

上一篇

已经没有了

发表评论

联系我们

联系我们

2551209778

在线咨询: QQ交谈

邮箱: admin@cnhackhy.com

工作时间:周一至周五,9:00-17:30,节假日休息

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部