1.ãPocoç¬è®°ã线ç¨Thread
2.Poco库--1.编译(Win 10)
3.C#如何在海量数据下的源码高效读取写入MySQL
4.教你如何在Linux系统下编译Poco框架linux编译poco
ãPocoç¬è®°ã线ç¨Thread
PocoçThreadæ¯å¯¹æ ååºstd::threadçå°è£ ï¼åæ¶å®ç±»ä¼¼Javaä¸æ ·ï¼æä¾äºRunnableæ¥å£ãæ以使ç¨ä¸æ¯å¯¹æ Javaçãä¸æ ååºä¸åçæ¯ï¼Poco::Threadå建åè¿è¡æ¶ç¸å离çãè¿ä¸ç¹æ ååºè®¾è®¡ç¡®å®ä¸å¤ªå好ãä¾å¦ä¸é¢ä¾åã
åæ ·çä¾å
ç±ä¸é¢å¯è§ï¼ä½¿ç¨åºæ¬è·Java类似ãå建ä¸è¿è¡ä¹å离äºã
çä¸ä¸ä¸»è¦çè¿è¡æ¥å£ï¼æèªPoco1.9æºç
æºç æ件主è¦å å«
1.Thread.h/Thread.cpp
æä¾å¤é¨è°ç¨æ¥å£
å¨Thread.cppä¸å®ä¹äºä¸¤ç§Holder, RunnableHolderåCallableHolderãHolderææ¯æ¯Pocoæ¡æ¶ä¸ç»å¸¸ç¨å°çï¼æ¯å¯¹æä¸ç§ç±»å对象çæéå è£ ã
Runnable为线ç¨è¿è¡ç±»çåºç±»ï¼
Callable为带ä¸ä¸ªåæ°çæ¹æ³
2.Thread_POSIX.h/Thread_POSIX.cpp
3.Thread_VX.h/Thread_VX.cpp
4.Thread_WIN.h/Thread_WIN.cpp
5.Thread_WINCE.h/Thread_WINCE.cpp
è¿å 个æ件ï¼æ¯ä¸ªæ件ä¸é½å®ä¹äºThreadImplï¼ç¨äºä¸åå¹³å°ä¸çå ·ä½å®ç°ï¼Threadç§æ继æ¿ThreadImpï¼ThreadImpç¨äºåªä¸ä¸ªæ件ç±ç¼è¯å®å³å®ã
顺便说ä¸ä¸POSIXç³»ç»ä¸çå®ç°ãå 为使ç¨çæ¯c++ï¼å½æ¶æ²¡æthreadç±»ï¼æ以ææçå®ç°é½æ¯ä½¿ç¨pthreadåºæ¥å®ç°çãå ·ä½ç使ç¨è¯·åèpthreadææ¯ææ¡£ã
6.ThreadLocal.h/ThreadLocal.cpp
ThreadLocalä¸å®ä¹äºä¸ä¸ªç±»ï¼ TLSAbstractSlotç±»ï¼ TLSSlotç±»ï¼ ThreadLocalStorageç±»
TLSAbstractSlotæ¯åºç±»ï¼TLSSlotæ¯æ¨¡æ¿ç±»ï¼éè¿æ¨¡æ¿ææ¯å 裹äºå ·ä½çç±»åãThreadLocalStorageæ¯ç¨äºçº¿ç¨åå¨ï¼å ·ä½æ¯éè¿ä¸ä¸ªmapæ¥å®ç°ã
å 为1.9使ç¨çæ¯c++ï¼è¿æ²¡æå¼ç¨local_threadå ³é®åï¼æ以è¿éæ¯éè¿è¿ç§æ¹å¼å®ç°ã
ThreadLocalStorageå®ä¹å¦ä¸
é£ä¹Poco::Threadçtlsæ¯å¦ä½å®ä¹çï¼
æºç æ件æ¯è¾å°ï¼ä¸»è¦å¦ä¸æ件
1.Thread.h/Thread.cpp
2.Thread_STD.h/Thread_POSIX.cpp/Thread_VX.cpp/Thread_WIN.cpp
Thread.h 主è¦å¯¹å®ç°ç±»ThreadImpçå è£ ï¼å¹¶å®ä¹äºå¯¹å¤æ¥å£ã
Thread_STD.hå®ä¹äºå é¨å®ç°,主è¦æä¾äºThreadImpç±»
Thread_POSIX.cpp/Thread_VX.cpp/Thread_WIN.cppåå«å®ä¹ä¸åå¹³å°ä¸çå ¼å®¹å®ç°
å¨Thread_STD.hä¸å®ä¹äºå 个éè¦ç±»å
å¨Thread.cppä¸å¢å äºä¸¤ç§
private修饰çThreadDataï¼å®ä¹äºçº¿ç¨å é¨æ°æ®ã 1.9ä¸æºç åå«å®ä¹å¨å个平å°å®ç°ç±»ä¸ï¼è¿éæ½ç¦»åºæ¥å®ä¹å¨Thread.cppä¸ãè¾ä¹åçå®ä¹ï¼è¿éé¢å¤çæ¯æ°å¢äºstd::threadæéãå 为ç´æ¥å¼ç¨äºc++ä¸çthreadï¼æäºå®ç°ç´æ¥åå©äºå®ã
Poco库--1.编译(Win )
说明:1) 本编译方法为简化版,完整Poco库编译需借助额外软件如OpenSSL,分析本文不涉及此部分。源码
2) 使用的分析编译工具链为msvc ,如未安装需下载:此处链接。源码
源码地址:GitHub链接
编译环境:运行于win系统,分析狮子鱼独立版源码17.7采用msvc 编译工具链。源码
编译步骤:参照源码根目录README.md中关于Linux、分析macOS、源码Windows的分析CMake构建部分进行操作。
本方法编译静态库,源码如需动态库,分析调整编译选项即可。源码执行cmake -LH .命令可查看生效的分析编译选项设置。C#如何在海量数据下的源码高效读取写入MySQL
前提
由于工作的原因,经常需要对海量数据进行处理,fpag 源码做的数据爬虫相关,动辄千万级别的数据,单表几十个G都是都是家常便饭。 主要开发语言是C#,数据库使用的是MySQL。
最常见的操作便是 select 读取数据,然后在C#中对数据进行处理, 完毕后再插入数据库中。 简而言之就 select -> process -> insert三个步骤。 对于数据量小的情况下(百万级别 or 几百兆)可能最多1个小时就处理完了。但是对于千万级数据可能几天,甚至更多。 那么问题来了,如何优化
(数据库的一览,有图有真相)
第一步 解决读取的unittestreport源码问题
跟数据库打交道的方式有很多,我来列举下吧:
1. 重武器-坦克大炮使用重型ORM框架,比如EF,NHibernat 这样的框架。
2. 轻武器-AK 使用Dapper,PetaPoco之类,单cs文件。灵活高效,使用简单。居家越货必备(我更喜欢PetaPoco :))
3. 冷兵器?匕首?使用原生的Connection、Command。 然后写原生的SQL语句。
分析:
重武器在我们这里肯定直接被PASS, 他们应该被用在大型项目中。
轻武器Dapper,PetaPoco 看过源码你会发现用到了反射,虽然使用IL和缓存技术,但是还是会影响读取效率,PASS
好吧那就只有使用匕首,srvlib源码原生SQL走起, 利用DataReader 进行高效读取,并且使用索引取数据(更快),而不是列名。
大概的代码如下:
using (var conn = new MySqlConnection('Connection String...'))
{
conn.Open();
//此处设置读取的超时,不然在海量数据时很容易超时
var c = new MySqlCommand('set net_write_timeout=; set net_read_timeout=', conn);
c.ExecuteNonQuery();
MySqlCommand rcmd = new MySqlCommand();
rcmd.Connection = conn;
rcmd.CommandText = @'SELECT `f1`,`f2` FROM `table1`';
//设置命令的执行超时
rcmd.CommandTimeout = ;
var myData = rcmd.ExecuteReader();
while (myData.Read())
{
var f1= myData.GetInt(0);
var f2= myData.GetString(1);
//这里做数据处理....
}
}
哈哈,怎么样,代码非常原始,还是使用索引来取数据,很容易出错。 当然一切为了性能咱都忍了
第二步 数据处理
其实这一步,根据你的业务需要,代码肯定不一, 不过无非是一些字符串处理,类型转换的源码11110000操作,这时候就是考验你的C#基础功底的时候了。 以及如何高效编写正则表达式。。
具体代码也没法写啊 ,先看完CLR via C# 在来跟我讨论吧 ,O(∩_∩)O哈哈哈~ 跳过。。
第三部 数据插入
如何批量插入才最高效呢? 有同学会说, 使用事务啊,BeginTransaction, 然后EndTransaction。 恩,这个的确可以提高插入效率。 但是还有更加高效的方法,那就是合并insert语句。
那么怎么合并呢?
insert into table (f1,f2) values(1,'sss'),values(2,'bbbb'),values(3,'cccc');
就是把values后面的全部用逗号,链接起来,然后一次性执行 。
当然不能一次性提交个MB的SQL执行,MySQL服务器对每次执行命令的长度是有限制的。 通过 MySQL服务器端的max_allowed_packet 属性可以查看, 默认是1MB
咱们来看看伪代码吧
//使用StringBuilder高效拼接字符串
var sqlBuilder = new StringBuilder();
//添加insert 语句的头
string sqlHeader = 'insert into table1 (`f1`,`f2`) values';
sqlBuilder.Append(sqlHeader);
using (var conn = new MySqlConnection('Connection String...'))
{
conn.Open();
//此处设置读取的超时,不然在海量数据时很容易超时
var c = new MySqlCommand('set net_write_timeout=; set net_read_timeout=', conn);
c.ExecuteNonQuery();
MySqlCommand rcmd = new MySqlCommand();
rcmd.Connection = conn;
rcmd.CommandText = @'SELECT `f1`,`f2` FROM `table1`';
//设置命令的执行超时
rcmd.CommandTimeout = ;
var myData = rcmd.ExecuteReader();
while (myData.Read())
{
var f1 = myData.GetInt(0);
var f2 = myData.GetString(1);
//这里做数据处理....
sqlBuilder.AppendFormat('({ 0},'{ 1}'),', f1,AddSlash(f2));
if (sqlBuilder.Length >= * )//当然这里的1MB length的字符串并不等于 1MB的Packet。。我知道:)
{
insertCmd.Execute(sqlBuilder.Remove(sqlBuilder.Length-1,1).ToString())//移除逗号,然后执行
sqlBuilder.Clear();//清空
sqlBuilder.Append(sqlHeader);//在加上insert 头
}
}
}
好了,到这里 大概的优化后的高效查询、插入就完成了。
结语
总结下来,无非2个关键技术点,DataReader、SQL合并,都是一些老的技术啦。
其实,上面的代码只能称得上 高效 , 但是, 却非常的不优雅。。甚至难看。。
那那么问题来了? 如何进行重构呢? 通过重构抽象出一个可用的类,而不必关心字符串拼接这些乱七八糟的东西,支持多线程合并写入,最大限度提高写入IO, 我们在下一篇文章中再来谈谈。
您可能感兴趣的文章:C#使用SqlDataAdapter对象获取数据的方法C#使用SQL Dataset数据集代码实例C#使用SQL DataReader访问数据的优点和实例C# 操作PostgreSQL 数据库的示例代码C#实现连接SQL Server数据库并执行SQL语句的方法C#连接到sql server数据库的实例代码C#实现Excel表数据导入Sql Server数据库中的方法详解C#批量插入数据到Sqlserver中的四种方式C#在MySQL大量数据下的高效读取、写入详解c#几种数据库的大数据批量插入(SqlServer、Oracle、SQLite和MySql)C#操作SQLite数据库之读写数据库的方法C#操作SQLite数据库方法小结(创建,连接,插入,查询,删除等)C#简单访问SQLite数据库的方法(安装,连接,查询等)C#使用SQL DataAdapter数据适配代码实例
教你如何在Linux系统下编译Poco框架linux编译poco
Poco是一个轻量级,开源的C ++类库,提供了跨平台的网络,数据库,可移植性/ IPC,XML,Networking,Logging,Cryptography和Utilities等组件。它具有出色的性能和可扩展性,可以支持数据库,Sockets,SSL,HTTP,XML,CGI,RPC,WebDAV,SMTP,文件,应用程序和更多。
在Linux系统下,可以通过编译Poco框架来使用它。但是,在完成这一步之前,首先需要准备一些工具和库,例如:GNU gcc/g++,CMake等。
步骤1:从官方网站下载最新版本的Poco框架源代码,解压缩。
步骤2:在shell提示符中,执行以下命令来创建build文件夹:
mkdir -p build
步骤3:进入build文件夹,以在其中编译Poco框架:
cd build
步骤4:启动CMake,以创建Poco框架的make文件:
cmake ..
步骤5:在上述命令执行后,可以在build文件夹中找到make文件,并使用make命令编译源文件:
make
步骤6:完成编译后,可以使用make install命令将Poco安装在指定的文件夹:
sudo make install
步骤7:最后,运行ldconfig命令更新库路径,以便Poco框架在应用程序中可用:
sudo ldconfig –v
这样,现在我们已经在Linux系统上编译并安装了Poco框架,并且可以开始在应用程序中使用Poco功能。