1.【ElasticSearch系列连载】1. ES版本与开源简介
2.ElasticSearch源码：Shard Allocation与Rebalance(1)
3.Eslint 的源码英文实现原理，其实挺简单
4.源码级解析，分析搞懂 React 动态加载（上） —— React Loadable
5.ESModule规范详解
6.es lucene搜索及聚合流程源码分析

【ElasticSearch系列连载】1. ES版本与开源简介

       诞生背景

       现有的实战技术在数据的结构化和存储方面已经做的很好了，但是源码英文在硬盘上的原始数据并不能充分发挥数据的价值，尤其是分析当你需要基于这些数据做一些实时的决策时，就更容易出现使用上的实战php在线印刷源码困难。

       ES是源码英文一个 分布式，可扩展，分析实时 的实战搜索与数据分析引擎，能够有效解决在全文搜索 或者 结构化数据的源码英文实时分析问题。

       不只是分析大型企业，如Wikipedia，实战Guardian，源码英文Stack Overflow，分析GitHub在使用。实战它也可以在你的笔记本上运行，或者扩展到几百台服务器，服务数PB的数据。

       ES带来了革命，但是ES并没有使用或者创造革命性的技术：全文搜索，数据分析和分布式数据存储都是已经有的技术概念。 ES是通过将这三个独立的部分进行了巧妙地融合成了一个独立的、实时的应用程序，这才是ES带来的革命。

       目前，大多数数据库在从数据中提取可操作的知识方面都出奇地无能。虽然他们可以通过时间戳进行筛选或者提取特定的字段，但是它们不能轻松的进行全文搜索，进行同义词搜索以及对数据进行相关性排序。

       更重要的是，面对具有一定规模的数据，如果不对数据做大量的离线预处理、批处理，大多数数据库是无法提供实时服务的。

ES简介

       ES是在Apache Lucene之上开发的。

       Apache Lucene是一个开源，先进，性能强劲，功能强大的搜索引擎。但它只是一个库，不仅需要使用Java代码才能使用，而且还需要理解Lucene内部逻辑和结构，整体用起来十分复杂。

       虽然ES也是JAVA编写的，内部也是使用了Lucene来进行索引和搜索，但是通过十分科学的设计将Lucene的复杂性屏蔽在了ES强大且简单的RESTful API之后。

       当然，ES不只是Lucene和全文搜索，它还是：

       支持文档分布式存储的全字段实时搜索引擎

       支持实时数据分析的分布式引擎

       支持数百节点和PB级别的结构化与非结构化数据

       同时，支持RESTful API，支持命令行，支持多种语言的源码大小SDK，使用Apache 2开源协议(已经经过多次调整)。

       关于ES诞生的小故事：

在谈及当年接触 Lucene 并开发 Elasticsearch 的初衷的时候， Shay Banon 认为自己参与 Lucene 完全是一种偶然，当年他还是一个待业工程师，跟随自己的新婚妻子来到伦敦，妻子想在伦敦学习做一名厨师，而自己则想为妻子开发一个方便搜索菜谱的应用，所以才接触到 Lucene。直接使用 Lucene 构建搜索有很多问题，包含大量重复性的工作，所以 Shay Banon 便在 Lucene 的基础上不断地进行抽象，让 Java 程序嵌入搜索变得更容易，经过一段时间的打磨便诞生了他的第一个开源作品“Compass”，中文即“指南针”的意思。之后，他找到了一份面对高性能分布式开发环境的新工作，在工作中他渐渐发现越来越需要一个易用的、高性能、实时、分布式搜索服务，于是决定重写 Compass，将它从一个库打造成了一个独立的 server，并创建了开源项目。第一个公开版本出现在 年 2 月，在那之后 Elasticsearch 已经成为 Github 上最受欢迎的项目之一。关于ES的各个版本版本发布日期内容1.0.年2月日聚合分析、API、备份恢复等特性2.0.年月日存储压缩可配置、API语法升级等特性5.0.年月日使用Lucene 6.x、SDK、API升级、Text/Keyword、存储与性能大幅提升6.0.年月日排序、滚动升级、数据可靠、性能提升等特性7.0.年4月日使用Lucene 8.x、Security免费、Zen2、稳定性等特性8.0.年2月日Security默认启用、NLP支持、KNN、API升级、存储与性能提升ES开源协议历史开源背景

       Apache 2.0开源协议是最开放的协议之一：你可以修改源码将其整合到自己的产品中，并且选择不再继续开源。不像GPL等开源协议，它们会有禁止Copyleft的声明：如果使用了开源软件，你的软件也必须开源。

       由于Apache 2.0协议的开放性，可能你自己开发的开源软件会被你的对手使用反过来和你进行竞争。

冲突产生

       这个事情就发生在了ES上，亚马逊于 年基于 Elasticsearch 推出自己的gmap源码服务，将其称为 Amazon Elasticsearch Service。随后双方发生了激烈的争议。

协议变更

       在年1月，Elastic 在官网发文称将对Elasticsearch和Kibana在许可证方面进行了重大的更改，决定将 Elasticsearch 和 Kibana 的开源协议由 Apache 2.0 变更为 SSPL 与 Elastic License，主要原因为了阻止云厂商的「白嫖」。

       之后，Amazon表示完全不能接受，ES随后发布了对应声明Amazon：完全不能接受 — 为什么我们必须变更 Elastic 许可协议

达成和解

       就在最近的年2月日，软件公司 Elastic 和亚马逊就一起商标侵权诉讼达成了和解。亚马逊开始从网站的各个页面以及其服务和相关项目名称中删除“Elasticsearch”一词，并由 Elastic 销售的 Elastic Cloud 取而代之。这是 Elastic 的一次重大胜利，该公司曾多次与亚马逊发生冲突。

       “现在 AWS 和 AWS Marketplace 上唯一的 Elasticsearch 服务是 Elastic Cloud，我们认为这是消除市场混乱的重要一步。只有一个 Elasticsearch，而且它只来自 Elastic。”Elastic 创始人兼首席技术官 Shay Banon 说。亚马逊之前还将 Amazon Elasticsearch Service 重命名为 Amazon OpenSearch Service。从现在开始，如果你在 AWS、Azure、Google Cloud 中看到“Elasticsearch”，就会知道它肯定来自 Elastic。

ES开源状态总结

       从Elastic 7.版本开始，Elastic 将把 Apache 2.0 授权的 Elasticsearch 和 Kibana代码转为SSPL和Elastic License的双重授权，让用户可以选择使用哪个授权。SSPL是MongoDB创建的一个源码可用的许可证，以体现开源的原则，同时提供保护，防止公有云提供商将开源产品作为服务提供而不回馈。SSPL允许自由和不受限制的使用和修改，但如果你把产品作为服务提供给别人，你也必须在SSPL下公开发布任何修改以及管理层的源代码。

       关注持续更新：下一节 - ElasticSearch系列连载2. 如何本地安装与调试ES

原文：/post/

ElasticSearch源码：Shard Allocation与Rebalance(1)

       ElasticSearch源码版本 7.5.2

       遇到ES中未分配分片的情况时，特别是在大型集群中，处理起来会比较复杂。Master节点负责分片分配，通过调用allocationService.reroute方法执行分片分配，这是关键步骤。

       在分布式系统中，诸如Kafka和ElasticSearch，平衡集群内的数据和分片分配是至关重要的。Kafka的leader replica负责数据读写，而ElasticSearch的主分片负责写入，副分片承担读取。如果集群内节点间的负载不平衡，会严重降低系统的健壮性和性能。主分片和副分片集中在某个节点的情况，一旦该节点异常，dpos源码分布式系统的高可用性将不复存在。因此，分片的再平衡（rebalance）是必要的。

       分片分配（Shard Allocation）是指将一个分片指定给集群中某个节点的过程。这一决策由主节点完成，涉及决定哪个分片分配到哪个节点，以及哪个分片为主分片或副分片。

       分片分配（Shard Allocation）

       重要参数包括：cluster.routing.allocation.enable，该参数可以动态调整，控制分片的恢复和分配。重新启动节点时，此设置不会影响本地主分片的恢复。如果重新启动的节点具有未分配的主分片副本，则会立即恢复该主分片。

       触发条件

       分片分配的触发条件通常与集群状态有关，具体细节在后续段落中展开。

       分片再平衡（Shard Rebalance）

       重要参数包括：cluster.routing.rebalance.enable，用于控制整个集群的分片再平衡。再平衡的触发条件与集群分片数的变化有关，操作需要在业务低峰期进行，以减少对集群的影响。

       再平衡策略的触发条件主要由以下几个参数控制：

       定义分配在节点的分片数的因子阈值。

       定义分配在节点某个索引的分片数的因子阈值。

       超出这个阈值时就会重新分配分片。

       从逻辑角度和磁盘存储角度考虑，再平衡可确保集群中每个节点的分片数均衡，避免单节点负担过重。同时，确保索引的分片均匀分布，避免集中在某一分片。

       再平衡决策

       再平衡决策涉及两个关键组件：分配器（allocator）和决策者（deciders）。

       分配器负责寻找最优节点进行分片分配，通过将拥有分片数量最少的节点列表按分片数量递增排序。对于新建索引，分配器的目标是以均衡方式将新索引的分片分配给集群节点。

       决策者依次遍历分配器提供的节点列表，判断是否分配分片，考虑分配过滤规则和是否超过节点磁盘容量阈值等因素。

       手动执行再平衡

       客户端可以通过发起POST请求到/_cluster/reroute来执行再平衡操作。此操作在服务端解析为两个命令，分别对应分片移动和副本分配。

       内部模块执行再平衡

       ES内部在触发分片分配时会调用AllocationService的reroute方法来执行再平衡。

       总结

       无论是手动执行再平衡命令还是ES内部自动执行，最终都会调用reroute方法来实现分片的再平衡。再平衡操作涉及两种主要分配器（GatewayAllocator和ShardsAllocator），每种分配器都有不同的实现策略，以优化分配过程。决策者（Deciders）在再平衡过程中起关键作用，确保决策符合集群状态和性能要求。再平衡策略和决策机制确保了ElasticSearch集群的高效和稳定运行。

Eslint 的igx源码实现原理，其实挺简单

       Eslint 实现原理详解

       Eslint 是一款流行的代码检查工具，它能够帮助开发者在编写代码的过程中发现并修复潜在的错误和不规范的代码风格。本文将深入探讨 Eslint 的实现原理，帮助你更好地理解其工作方式。

       Eslint 的核心是 Linter 类，它提供了主要的 API，包括 SourceCode、Parser 和 Rule。SourceCode 代表抽象语法树（AST），Parser 是将源代码解析为 AST 的工具，Rule 则是用于检查和修复 AST 的规则。

       Linter 的主要功能在 verify 和 verifyAndFix 方法中实现。当调用 --fix 或者配置文件设置 fix: true 时，会执行 verifyAndFix，用于检查并修复代码。否则，执行 verify 进行代码检查。

       理解 Linter 的实现关键在于解析器（Parser）的选择与使用。默认使用 Eslint 自带的 espree，但也可以通过配置切换为其他解析器，如 @eslint/babel-parser 或 @typescript/eslint-parser。

       在解析器确定后，源代码被解析为 AST，然后通过 SourceCode 封装。接下来，通过调用 runRules 方法，使用注册的规则对 AST 进行检查。runRules 遍历 AST，触发相应的事件，规则监听这些事件以执行检查逻辑。

       规则注册与监听机制使得 Eslint 能够在遍历 AST 的过程中，执行各种检查任务。通过上下文（Context）传递信息，如 scope 和 settings，规则可以根据需要获取额外的细节。

       检查结果以 lintingProblems 形式呈现，包括问题的起始和结束位置，以及相应的修复建议。修复实现为字符串替换操作，针对 AST 的范围进行替换，以自动修复代码问题。

       此外，Eslint 支持预处理（Preprocess）和后处理（Postprocess），用于在检查前或后进行额外处理。这些功能通过配置文件中的注释指令（Comment Directives）实现，允许开发者自定义过滤规则。

       为了在命令行环境下使用 Eslint，还引入了 CLIEngine 类，它负责解析命令行参数、文件读写等操作。最终，Eslint 提供了一个简洁的门面（EsLint 类），隐藏了不必要的细节，使得用户能够方便地使用 Eslint。

       总结，Eslint 的实现原理基于 AST 的代码检查和字符串替换实现自动修复。通过解析器、规则注册、事件监听、问题收集与修复，以及预处理与后处理，Eslint 提供了一个高效、灵活的代码检查框架。掌握这些原理有助于开发者更深入地理解 Eslint 的工作机制，从而更好地利用它提高代码质量和开发效率。

源码级解析，搞懂 React 动态加载（上） —— React Loadable

       本系列深入探讨SPA单页应用技术栈，首篇聚焦于React动态加载机制，解析当前流行方案的实现原理。

       随着项目复杂度的提升和代码量的激增，如企业微信文档融合项目，代码量翻倍，性能和用户体验面临挑战。SPA的特性使得代码分割成为优化代码体积的关键策略。

       code-splitting原理在于将大型bundle拆分为多个，实现按需加载和缓存，显著降低前端应用的加载体积。ES标准的import()函数提供动态加载支持，babel编译后，import将模块内容转换为ESM数据结构，通过promise返回，加载后在then中注册回调。

       webpack检测到import()时，自动进行code-splitting，动态import的模块被打包到新bundle中。通过注释可自定义命名，如指定bar为动态加载bundle。

       实现简易版动态加载方案，利用code-splitting和import，组件在渲染前加载，渲染完成前展示Loading状态，优化用户体验。然而，复杂场景如加载失败、未完成等需要额外处理。

       引入React-loadable，动态加载任意模块的高阶组件，封装动态加载逻辑，支持多资源加载。通过传入参数如模块加载函数、Loading状态组件，统一处理动态加载成功与异常。

       通过react-loadable改造组件，实现加载前渲染Loading状态，加载完成后更新组件。支持单资源或多资源Map动态加载，兼容多种场景。

       Loadable核心是createLoadableComponent函数，采用策略模式，根据不同场景（单资源或多资源Map）加载模块。load方法封装加载状态与结果，loadMap方法加载多个loader，返回对象。

       LoadableComponent高阶组件实现逻辑简单，通过注册加载完成与失败的回调，更新组件状态。默认渲染方法为React.createElement()，使用Loadable.Map时需显式传入渲染函数。

       在服务端渲染（SSR）场景下，动态加载组件无法准确获取DOM结构，react-loadable提供解决方案，将异步加载转化为同步，支持SSR。

       React loadable原始仓库不再维护，局限性体现在适用的webpack与babel版本、兼容性问题以及不支持现代React项目。针对此问题，@react-loadable/revised包提供基于Hooks与ts重构的解决方案。

       React-loadable的实现原理与思路较为直观，下文将深入探讨React.lazy + Suspense的原生解决方案，理解Fiber架构中的动态加载，有助于掌握更深层次的知识。

ESModule规范详解

       在介绍ESModule规范之前，我们先了解下AMD和CMD两种规范。

       AMD规范

       AMD规范采用非同步加载模块，允许指定回调函数

       node模块通常位于本地，加载速度快，所以适用于同步加载

       浏览器环境下，模块需要远程请求获取，所以适用于异步

       require.js是AMD的一个具体实现库

       CMD规范

       CMD整合了Commonjs和AMD的优点，模块加载是异步的

       CMD专门用于浏览器端，sea.js是CMD规范的实现

       AMD和CMD最大的问题是没有通过语法升级来解决模块化的问题。它们去定义模块化还是调用js方法的方式去生成一个模块，如果当项目模块达到成百上千个，这种方式无法进行模块规模化的应用。要想模块规模化应用则需要一种标准的语法规范，这是AMD和CMD都没有实现的。

       ESModule规范

       ESModule设计理念是希望在编译时就确定模块依赖关系即输入输出

       Commonjs和AMD必须在运行时才能确定依赖和输入、输出

       ESModule通过import加载模块，通过export输出模块

       下面我们来详细介绍ESModule。

ESModule使用export正常导出，import导入

       所有通过export导出的属性，在import中可以通过结构的方式，解构出来。

       export导出

constname='dog'constauthor='xiaoming'export{ name,author}exportconstsay=function(){ console.log('hello,world')}

       import导入

//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'默认导出exportdefaultconstname='dog'constauthor='xiaoming'constsay=function(){ console.log('hello,world')}exportdefault{ name,author,say}

       导入

importmesfrom'./a.js'console.log(mes)//{ name:'dog',...}

       exportdefaultanything?默认导出。?anything?可以是函数，属性方法，或者对象。

       对于引入默认导出的模块，importanyNamefrom'module'，anyName可以是自定义名称。

混合导入｜导出exportconstname='dog'exportconstauthor='xiaoming'exportdefaultfunctionsay(){ console.log('hello,world')}

       导入有两种方式，第一种是:

importtheSay,{ name,authorasbookAuthor}from'./a.js'console.log(theSay,//?say(){ console.log('hello,world')}name,//'dog'bookAuthor//'xiaoming')

       第二种:

importtheSay,*asmesfrom'./a'console.log(theSay,//?say(){ console.log('hello,world')}mes

       mes对象如下，可以看到把导出的所有属性都收敛到了一个对象里面，其中exportdefault导出值的key为default。

{ name:'dog',author:'xiaoming',default:?say(){ console.log('hello,world')}}ESModule特点静态语法

       ESModule的设计理念是希望在编译时就确定模块依赖关系即输入输出，那如何在编译时就能确定依赖关系呢？

       在传统编译语言的流程中，程序中的一段源代码在执行之前都需要经过"编译"。对于JavaScript这样的解释型语言来说，也是需要编译的，只不过编译过程发生在代码执行前的几微秒（甚至更短）的时间内。

       要想在编译阶段就能确定依赖关系，那必须要把import进行类似于变量提升。我们来看一下JavaScript中的变量提升。

functiontest(){ console.log(a)console.log(foo())vara=1functionfoo(){ return2}}test()

       在编译阶段发生了变量提升，经过预编译，执行顺序就变成了这样：

functiontest(){ functionfoo(){ return2}varaconsole.log(a)console.log(foo())a=1}test()

       所以打印结果是:

//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'0

       import提升其实JavaScript代码在编译阶段发现有import也会像var一样进行提升。为了验证这一点，看一下如下demo。

       main.js

//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'1

       a.js

//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'2

       b.js

//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'3

       执行顺序如下:

//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'4

       当执行main.js，可以看到先答应"b模块加载"，但是main.js第一行代码是console.log('main.js开始执行')，但是并没有执行。这是因为在编译阶段把import进行了提升，类似于var的变量提升，所以会首先执行import语句。

       也就是在编译阶段去加载模块，然后在执行阶段就去执行文件，这跟var变量的执行顺序是一样的，即首先会把vara=undefined提升，然后在执行阶段去赋值。

       因为这种静态语法，所以import?,?export?不能放在块级作用域或条件语句中。

//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'5

       在编译过程中确定了导入和导出的关系，所以更方便去查找依赖，更方便去treeshaking(摇树)，这也是ESModule支持tree-shaking操作的原因。同时，还可以使用各种lint工具对模块依赖进行检查，比如:eslint。

导出绑定:不能修改import导入的属性//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'6

       当执行main.js的时候会报错：UncaughtTypeError:Assignmenttoconstantvariable。通过import导入的值可以看出是一个const常量，不能修改。

引用传递

       Common.js是值的拷贝，ESModule是引用传递。

       Common.js

//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'7

       当第一次打印导入的变量a的值是1，然后执行plus方法，再次打印a发现值仍然是1。当我们通过get方法获取模块内的变量a的时候，发现值为2。所以，在Commonjs规范下，导入的变量只是值的拷贝而已，具体细节可以参考上一篇文章#CommonJS规范详解。

       ESModule

//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'8

       当第一次打印导入的变量a的值是1，然后执行plus方法，再次打印a发现值是2。也就是，使用import导入的变量是与原变量是引用关系，而不是拷贝。

import()动态引入

       import()?返回一个?Promise?对象，返回的?Promise?的then成功回调中，可以获取模块的加载成功信息。我们来简单看一下?import()?是如何使用的。

//name,author,say对应a.js中的name,author,sayimport{ name,author,say}from'./a.js'9

       打印结果如下:

CommonjsVSESModule

       通过上面的介绍，我们来总结下Commonjs和ESModule的区别:

       Commonjs的输出是值的拷贝，ESModule的输出是值的引用。

       Commonjs是运行时加载，只有在运行结束后才能确定输入和输出，ESModule在编译的时候就能明确的知道输入和输出，它是一个确定的结果。

       像这段代码在仅仅被parse成AST(抽象语法树)时，很难分析出究竟依赖了哪些模块。

constname='dog'constauthor='xiaoming'constsay=function(){ console.log('hello,world')}exportdefault{ name,author,say}0

       同样，Commonjs在做模块导出时也无法静态识别:

constname='dog'constauthor='xiaoming'constsay=function(){ console.log('hello,world')}exportdefault{ name,author,say}1

       但是在ESModule中，import/exports一目了然，对于没有被import的部分，也很自然的容易区分出来，并进行tree-shaking。

       总之，就是通过限定语法，让本来需要运行代码才能确定的依赖，可以在AST阶段就能确定下来。

       Commonjs为同步加载，ESModule支持异步加载，可以通过import().then()来实现。

原文；/post/

es lucene搜索及聚合流程源码分析

       本文通过深入分析 TermQuery 和 GlobalOrdinalsStringTermsAggregator，旨在揭示 Elasticsearch 和 Lucene 的搜索及聚合流程。从协调节点接收到请求后，将搜索任务分配给相关索引的各个分片（shard）开始。

       协调节点将请求转发至数据节点，数据节点负责查询与聚合单个分片的数据。

       在数据节点中，根据请求构建 SearchContext，该上下文包含了查询（Query）和聚合（Aggregator）等关键信息。查询由请求创建，例如 TermQuery 用于文本和关键词字段，其索引结构为倒排索引；PointRangeQuery 用于数字、日期、IP 和点字段，其索引结构为 k-d tree。

       构建 Aggregator 时，根据 SearchContext 创建具体聚合器，如 GlobalOrdinalsStringTermsAggregator 用于关键词字段的全局排序术语聚合。

       在处理全局排序术语聚合时，如果缓存中不存在全局排序，将创建并缓存全局排序，当分片下的数据发生变化时，需要清空缓存。

       全局排序将所有分段中的指定字段的所有术语排序并合并成一个全局排序，同时创建一个 OrdinalMap，用于在收集时从分段 ord 获取全局 ord。 docCounts 用于记录 ord 对应的文档计数。

       对于稀疏情况下的数据收集，使用 bucketOrds 来缩减 docCounts 的大小，并通过 LongHash 将全局 ord 与 id 映射起来，收集时在 id 处累加计数。

       处理聚合数据时，根据请求创建具体的权重，用于查询分片并创建评分器。查询流程涉及从 FST（Finite State Transducer，有限状态传感器）中查找术语，读取相关文件并获取文档标识符集合。

       评分及收集过程中，TopScoreDocCollector 用于为文档评分并获取顶级文档。聚合流程中，GlobalOrdinalsStringTermsAggregator 统计各术语的文档计数。

       协调节点最终收集各个分片的返回结果，进行聚合处理，并获取数据，数据节点从存储字段中检索结果。在整个流程中，FetchPhase 使用查询 ID 获取搜索上下文，以防止合并后旧分段被删除。

       本文提供了一个基于 Elasticsearch 和 Lucene 的搜索及聚合流程的深入分析，揭示了从请求接收、分片查询、聚合处理到数据收集和结果整合的全过程。通过理解这些关键组件和流程，开发者可以更深入地掌握 Elasticsearch 和 Lucene 的工作原理，优化搜索和聚合性能。