皮皮网

【squid 源码分析】【社交系统源码app】【树原理 java源码】cockroach源码

时间:2024-12-24 08:56:29 来源:视频赞赏源码 作者:hbo中文源码

1.cockroachDB分布式事务优化:事务管道与并行提交
2.插件介绍点云处理插件COCKROACH

cockroach源码

cockroachDB分布式事务优化:事务管道与并行提交

       分布式事务在CockroachDB中的重要性不言而喻,其目标是让数据操作简便,而如何使得事务尽可能快速执行是CockroachDB关注的重点。CockroachDB设计时特别考虑了全球分布式部署的环境,投入大量精力优化事务协议,以适应高节点间延迟的squid 源码分析集群。接下来,我们将深入探讨CockroachDB在分布式事务优化中的两大核心策略:事务管道和并行提交。

       在CockroachDB中,分布式事务允许操作跨越集群、地域和机器进行,同时提供SERIALIZABLE级别的隔离性和非过时读取的一致性保证。其事务模型受到Google Percolator的启发,采用三阶段模式进行处理:prepare阶段从SQL发出“Begin”指令直到事务提交之前,对于事务中的写操作,CockroachDB执行了两步操作:commit阶段,社交系统源码app当SQL发出“commit”指令时,系统检查事务记录,若无“abort”状态,则将其标记为“commit”;cleanup阶段,根据事务记录,系统异步清理已完成事务的write intent。

       在深入探讨优化策略之前,我们需要了解事务执行“慢”的原因。简化模型中,不考虑从存储读写的延迟时间,延迟模型计算了客户端从输入SQL到收到回应的总延迟:L_txn = L_prep + L_commit,其中L_commit的代价为提交阶段的RPC网络开销,而L_prep则由读和写请求的数量决定。由于CockroachDB的读操作直接从leaseholder(可视为raft leader)本地读取,因此L_r接近于零,树原理 java源码简化后的延迟模型为L_txn = R * L_r + W * L_w。由于分布式共识是同步操作,L_prep与写操作的数量成线性关系。

       为优化这一过程,CockroachDB引入了事务管道(Transactional Pipelining)机制,这是一种异步共识的实现方式。在没有事务管道之前,一个put的kv操作需要先在range的leaseholder上获取锁存器,然后进行raft共识写入write intent,待共识成功后返回。事务管道机制则允许put发送给raft状态机后直接返回,通过异步方式完成共识过程。此机制仅适用于不关注返回结果的语句,确保在commit之前所有异步共识都成功即可。

       事务管道的源码伪静态 html一大挑战是高效证明写意图已成功写入。CockroachDB在put操作返回后,后台启动gorouting异步验证写意图。理想情况下,验证过程应在commit之前结束,否则commit请求将同步验证,确保在commit之前所有写操作都成功复制。然而,实现这一目标并非易事,若在每个写操作返回后立即启动验证协程,可能导致资源耗尽;若只有一个验证协程,则速度会减慢。此外,如果commit请求在写操作后立即发出,会导致同步验证已完成的写操作,造成无效且冗余的任务卷轴模式源码操作。目前,CockroachDB官方尚未提供完整解决方案,持续关注此问题的进展。

       另一优化策略是“Read your write”原则,该原则指事务中的读依赖之前的写操作,管道机制无法保证之前写操作已成功共识。因此,在事务协调者阶段需记录所有需要确认的写操作,称为inflight-write,当存在依赖读时需要等待write intent成功写入。尽管这导致了管道之前的同步等待,但这是必要的。

       并行提交是CockroachDB在commit阶段的优化策略,旨在减少RPC延迟时间。在引入事务管道优化的基础上,我们分析了传统的两阶段提交(2PC)延迟模型,并提出并行提交策略。2PC至少需要两轮分布式共识后返回客户端提交成功,而并行提交策略则将commit阶段的功能前置至prepare阶段与写请求并行执行,将两轮共识减少为一轮。

       并行提交引入了staging状态,表示prepare和committed/abort之间的中间状态。当事务协调者发现有commit请求时,会并行发送EndTxn请求,将事务记录置为staging状态,同时包含所有未确认的inflight-write,等待所有inflight-write成功写入后,EndTxn成功返回,客户端接收到提交成功信息。随后,后台进程异步将staging状态改为committed。

       staging状态的设计巧妙之处在于记录了所有未确认的inflight-write(由于事务管道异步确认write intent,此集合不会过大),如果事务记录处于staging状态,并且观察者可以证明其事务记录中列出的所有写入已成功达成共识,则该事务被视为已提交。因此,并行提交不需要等待committed请求发出即可返回客户端提交成功。

       然而,staging状态较为“脆弱”,需要采取措施确保一致性。当staging状态的事务被另一冲突事务发现并被标记为废弃时,虽然可以写入write intent,但会将key上的时间戳推大,以阻止未来事务恢复后继续写入。这确保了staging状态不会破坏一致性。

       总结起来,事务管道和并行提交是CockroachDB在分布式事务优化中采用的两种策略,分别在prepare阶段和commit阶段对延迟进行了优化。两者结合将事务延迟降低至L_txn = w * L_w + L_c,将时间复杂度从O(n)优化至O(1),显著提高了事务处理速度。CockroachDB在工程层面实施了大量工作,对于深入理解这些优化的同学,建议直接阅读源码。

       

参考资料:

       1. cockroachlabs.com/blog/...

       2. cockroachlabs.com/blog/...

       3. cockroachDB paper

插件介绍点云处理插件COCKROACH

       COCKROACH插件是一款开源的点云处理工具,由Petras Vestartas和Andrea Settimi共同开发。

       此插件依托于Open3D、CGAL和Cilantro库,代码可在Github上找到:github.com/9and3/Cockro...

       开源的初衷是为了打造一个面向.NET的开放源代码点云处理工具,开发者期望有更多人为其贡献,增添更多功能。

       以下通过开发者提供的案例,详细解析COCKROACH插件的功能。

       包括:拾取点云、输出点云信息;按点数降低点云采样;按Voxel大小采样,Voxel越大,点云数越小;以box裁剪点云,支持反向裁剪;以多段线裁剪点云;以平面去切点云;根据颜色和点大小显示点云;显示点云的法向量;用点云创建网格;网格修复;网格的中心骨架;把网格转成点云;布尔网格等。

       插件下载方面,COCKROACH插件提供了多种方式。

       1. 可通过Food4Rhino下载COCKROACH插件,搜索插件名称,找到对应版本即可下载。下载链接:food4rhino.com/en/app/c...

       注意:下载Grasshopper版本时,请选择倒数第二个版本,以免下载错误。

       2. 第二种方法仅支持Rhino版本安装,不支持Grasshopper版本。使用程序集管理包(PackageManager)进行下载,在犀牛7中执行_PackageManager指令,搜索COCKROACH插件直接安装。

       3. 如果熟悉代码,还可以从github下载COCKROACH插件的源代码。github.com/9and3/Cockro...

       Grasshopper版本安装完成后,即可使用。

关键词:江湖+商圈+源码

copyright © 2016 powered by 皮皮网   sitemap