皮皮网

1.shardingjdbc和tddl的区别
2.最全常见分布式ID生成方案
3.数据库分库分表中间件的阿里阿里整理
4.分布式数据库中间件—TDDL的使用介绍

shardingjdbc和tddl的区别

       shardingjdbc是当当网的内部分库分表中间件，目前已经开源，可以在github中进行获取，而TDDL则是阿里内部的分库分表中间件，目前尚未开源，本质上都是JDBC的一种分装。详细见下图

最全常见分布式ID生成方案

       在技术面试中，分布式ID生成是源码源代常被提及的话题。本文将探讨分布式ID的阿里阿里必要性、常见生成方案及其优缺点，源码源代以及美团开源框架的阿里阿里应用实例。

       分布式ID在数据量大、源码源代素材网站系统源码分库分表后的阿里阿里重要作用是为分散数据提供唯一标识，确保数据完整性和避免冲突。源码源代以下是阿里阿里几种常见的生成方案：

       1. UUID（通用唯一标识符）

       简单高效，基于时间戳、源码源代硬件标识符生成全局唯一ID，阿里阿里但无序且ID较长，源码源代存储空间占用大，阿里阿里不适合索引。源码源代

       2. 数据库单点自增序列

       简单可靠，阿里阿里但可能导致单点故障，无法应对高并发，网络依赖性强。

       3. 数据库集群自增序列

       解决单点问题，绿灯持股源码下载但需要负载均衡，扩容和高并发性能受限。

       4. 数据库号段模式

       减少对数据库访问，但仍存在单点故障和ID浪费问题，网络依赖较低。

       美团的Leaf-segment框架实现了数据库号段模式，通过预分发和双缓冲优化。

       5. 微信序列号生成

       基于用户序列，通过步进式持久化和分段共享存储，减少IO，但涉及序列号管理和多节点同步。

       6. 阿里Tddl-sequence

       TDDL的序列生成方案，依赖数据源，支持本地生成和迁移注意事项。

       7. 雪花算法（Twitter Snowflake）

       快速生成有序ID，但依赖时钟同步，可读性较差。

       8. Redis 快鲸社区 源码自增命令

       简单易扩展，但依赖Redis集群，客户端需实现负载均衡。

       9. Zookeeper 或 MongoDB

       分布式协调生成，复杂度高，网络依赖强。

       总的来说，选择分布式ID生成方案时，需权衡性能、扩展性、复杂性和网络依赖，结合具体业务场景来决定最适合的方案。

数据库分库分表中间件的整理

       一、分库分表中间件整理

       1.1、主要分库分表中间件包括：cobar、TDDL、atlas、sharding-jdbc、mycat。fpc压缩算法 源码其中，cobar和atlas属于proxy层方案，分别由阿里和团队开发，但社区维护有限；TDDL属于client层方案，由淘宝团队开发，不支持高级查询语法，使用较少；sharding-jdbc为当当网开源，支持分库分表、读写分离等，社区活跃，适用于中小型公司；mycat基于cobar改造，功能完善，是目前流行的选择，适合中大型公司。

       1.2、选择分库分表中间件时，应考虑成本和维护需求。sharding-jdbc轻量级，如何看懂node源码部署简单，但需同步升级，耦合性高；mycat为proxy层方案，需要额外部署，但对项目透明，适合中大型公司。

       二、垂直拆分与水平拆分

       2.1、水平拆分：将一个表数据分散到多个库，每个库表结构相同，数据分布均匀，有利于并发处理和数据量扩展。

       2.2、垂直拆分：将大表拆分成多个小表，根据访问频率将不同字段分到不同表中，减少缓存压力，提升性能。

       2.3、表层面拆分：将大表划分为多个小表，控制单表数据量，优化SQL性能。

       三、分库分表策略

       3.1、范围分库：按固定范围（如时间）分配数据到不同库，易于扩容，但易产生数据热点。

       3.2、哈希分库：通过哈希算法均匀分配数据到各库，避免数据热点，但扩容复杂。

       四、不停机迁移

       4.1、规划好服务器配置，每台服务器上部署多个库。

       4.2、设计路由规则，如根据orderId计算库和表。

       4.3、申请新服务器，逐步增加数据库资源。

       4.4、使用数据库迁移工具，将数据从旧服务器迁移至新服务器。

       4.5、调整系统配置，修改路由规则。

       4.6、重新部署系统，确保服务不间断提供。

分布式数据库中间件—TDDL的使用介绍

       在项目开发中，TDDL作为分布式数据库中间件，虽然初期接触时有所了解，但深入研究并不多。由于团队内部丰富的阿里内部中间件，每个都需花费大量时间学习，加上项目中数据库并未采用分布式，缺乏实际驱动，导致对TDDL的理解并不深入。面对同行关于TDDL分库分表原理的询问，我决定填补知识空白，整理关于TDDL的架构和原理，既为自己充实知识，也希望能帮助到有需求的同行。

       首先，让我们回顾分布式数据库的发展历程。最初，应用数据单一，单库单表是常态。随着业务增长，读多写少的场景下，读写分离应运而生，通过主备库减轻读压力。然而，这引入了数据复制和数据源选择问题。随后，垂直分库和水平分表出现，以应对数据量爆炸和性能瓶颈，但同时也带来ACID属性破坏等问题。

       TDDL则是为解决分布式数据库挑战而设计的，它解决了单库无法满足性能、系统容灾和运维管理的需求。从TDDL的发展史来看，它经历了多次迭代，不断优化和扩展功能，如支持跨库查询、提供server模式等。TDDL的核心在于其三层数据源结构，Matrix层负责分库分表的路由和SQL处理，Group层负责读写分离和主备切换，Atom层则负责数据库连接管理和物理操作。

       执行流程中，TDDL首先解析SQL，根据规则确定分库分表，然后将查询转发到相应的Group执行，保证数据的读写分离和主备切换。Atom层负责底层数据库操作，并进行并发控制和结果合并，确保高可用性和性能优化。

       对于全局唯一ID生成，TDDL采用基于数据库更新和内存分配的方案，保证高可用性和高性能，同时支持多机环境下的容灾。TDDL适用于高并发交易、海量数据存储、低成本数据库解决方案和在线数据扩容等场景，为业务的扩展提供了有力支持。