1.一篇讲解CPU性能指标提取及源码分析
2.fsIO调度算法之NOOP
3.SpringBoot 整合 Quartz 实现分布式调度
4.技术人生阅读源码——Quartz源码分析之任务的调度调度调度和执行
5.一文读懂，硬核 Apache DolphinScheduler3.0 源码解析
6.《深入理解react》之调度引擎——Scheduler

一篇讲解CPU性能指标提取及源码分析

       这篇报告主要根据CPU性能指标——运行队列长度、调度延迟和平均负载，源码源码对系统的调度调度性能影响进行简单分析。

       CPU调度程序运行队列中存放的线路线路是那些已经准备好运行、正等待可用CPU的源码源码大疆naza源码轻量级进程。如果准备运行的调度调度轻量级进程数超过系统所能处理的上限，运行队列就会很长，线路线路运行队列长表明系统负载可能已经饱和。源码源码

       代码源于参考资料1中map.c用于获取运行队列长度的调度调度部分代码。

       在系统压力测试前后，线路线路使用压力测试工具stress-ng，源码源码可以看到运行队列长度的调度调度明显变化，从3左右变化到了左右。线路线路

       压力测试工具stress-ng可以用来进行压力测试，源码源码观察系统在压力下的表现，例如运行队列长度、调度延迟、平均负载等性能指标。

       在系统运行队列长度超过虚拟处理器个数的1倍时，需要关注系统性能。当运行队列长度达到虚拟处理器个数的3~4倍或更高时，系统的响应就会非常迟缓。

       解决CPU调用程序运行队列过长的方法主要有两个方面：优化调度算法和增加系统资源。

       所谓调度延迟，是指一个任务具备运行的条件（进入 CPU 的 runqueue），到真正执行（获得 CPU 的执行权）的这段时间。通常使用runqlat工具进行测量。

       在正常情况下使用runqlat工具，可以查看调度延迟分布情况。压力测试后，调度延迟从最大延迟微秒变化到了微秒，可以明显的看到调度延迟的变化。

       平均负载是对CPU负载的评估，其值越高，说明其任务队列越长，处于等待执行的任务越多。在系统压力测试前后，通过查看top命令可以看到1分钟、5分钟、分钟的load average分别从0.、1.、1.变化到了4.、3.、1.。陪聊源码下载

       总结：当系统运行队列长度、调度延迟和平均负载达到一定值时，需要关注系统性能并进行优化。运行队列长度、调度延迟和平均负载是衡量系统性能的重要指标，通过监控和分析这些指标，可以及时发现和解决问题，提高系统的稳定性和响应速度。

fsIO调度算法之NOOP

       NOOP，全称为No Operation，即电梯式调度算法。在Linux2.4或更早版本的系统中，它是唯一的I/O调度算法。NOOP实现了一个简单的FIFO队列，其运作原理类似于电梯的工作方式，将新来的I/O请求合并到最近的请求之后，从而保证了请求在同一介质上的连续性。NOOP倾向于优先处理写请求，对读请求较为不利。在闪存设备、RAM和嵌入式系统中，NOOP表现最佳。

       电梯算法导致读请求“饿死”的原因在于，写请求比读请求更容易处理。写请求通过文件系统缓存，无需等待一次写操作完成即可开始下一次写操作。写请求可以通过合并和堆积在I/O队列中。而读请求需要在前面的所有读操作完成后才能进行下一次读操作。在读操作之间存在几毫秒的等待时间，而在此期间，新的写请求到来，导致后续的读请求“饿死”。

       在Linux 3.0版本中，对NOOP调度器进行了优化和改进。

       在I/O调度器NOOP中，请求的处理流程如下：

       1. 向前合并请求：`noop_merged_requests`。

       

参考资料：

       IO调度器NOOP与deadline源码级分析 - hiyachen - ChinaUnix博客

SpringBoot 整合 Quartz 实现分布式调度

       本文主要分享内容如下：

       Quartz是Java领域最著名的开源任务调度工具。在上篇文章中，我们详细介绍了Quartz在单体应用环境中的实践，尽管Spring Scheduled也能够实现任务调度，并且与SpringBoot无缝集成，支持注解配置，操作极其简便。然而，全景浏览源码它在集群环境下存在一个缺点，即可能导致任务重复调度的问题。

       相比之下，Quartz提供了丰富的特性，如任务持久化、集群部署以及分布式调度任务，因此在系统开发中应用广泛。在集群环境下，Quartz集群中的每个节点视为一个独立的Quartz应用，没有专门的集中管理节点。它们通过数据库表来感知彼此，利用数据库锁机制实现集群并发控制，确保每个任务当前运行的有效节点仅有一个。

       特别需要注意的是，分布式部署时需保证各个节点的系统时间一致。接下来，我们通过具体应用实践来深入理解Quartz集群架构。

       为了进行Quartz集群实践，我们需要先对数据表进行初始化。访问Quartz官网，下载对应的版本，如quartz-2.3.0-distribution.tar.gz，并解压。在文件中搜索SQL脚本，选择适合当前环境的数据库脚本文件，如mysql-5.7环境下的tables_mysql_innodb.sql脚本，完成数据库表的初始化。

       数据库表结构如下：

       QRTZ_BLOG_TRIGGERS：Trigger作为Blob类型存储

       QRTZ_CALENDARS：存储Quartz的Calendar信息

       QRTZ_CRON_TRIGGERS：存储CronTrigger，包括Cron表达式和时区信息

       QRTZ_FIRED_TRIGGERS：存储已触发的Trigger相关的状态信息及关联Job的执行信息

       QRTZ_JOB_DETAILS：存储已配置的Job的详细信息

       QRTZ_LOCKS：存储程序的悲观锁信息

       QRTZ_PAUSED_TRIGGER_GRPS：存储已暂停的Trigger组信息

       QRTZ_SCHEDULER_STATE：存储有关Scheduler状态的少量信息，与其他Scheduler实例

       QRTZ_SIMPLE_TRIGGERS：存储简单的Trigger，包括重复次数、间隔、以及已触发的次数

       QRTZ_SIMPROP_TRIGGERS：存储CalendarIntervalTrigger和DailyTimeIntervalTrigger两种类型的触发器

       QRTZ_TRIGGERS：存储已配置的Trigger信息

       其中，QRTZ_LOCKS是实现Quartz集群同步机制的行锁表。

       实现Quartz集群实践的具体步骤如下：

       创建SpringBoot项目，导入maven依赖包。

       创建application.properties配置文件。

       创建quartz.properties配置文件。

       注册Quartz任务工厂。

       注册调度工厂。

       重新设置Quartz数据连接池，推荐使用Driud数据连接池。

       编写Job具体任务类。

       编写Quartz服务层接口。集成源码zlib

       编写Controller服务。

       服务接口测试。

       注册监听器（可选）。

       采用项目数据源（可选）。

       在实际部署中，项目通常会集群部署。为了确保与正式环境一致，我们可以通过新建多个相同的项目来测试Quartz在集群环境下的分布式调度功能。理论上，只需将新建的项目重新复制并修改端口号即可实现本地测试。

       在测试集群环境下Quartz的分布式调度时，我们通常只需保持QuartzConfig、DruidConnectionProvider、QuartzJobFactory、TfCommandJob、quartz.properties类和配置相同。首先启动的服务（如quartz-）会优先加载数据库中配置的定时任务，而其他服务（如quartz-、quartz-）在没有主动调度的情况下，不会运行任务。

       最终结果验证了预期效果：任何一个定时任务只有一台机器在运行，确保了分布式调度的正确性。

       本文围绕SpringBoot + Quartz + MySQL实现持久化分布式调度进行了介绍。所有代码功能均由作者亲自测试验证，尽管内容较为详尽，但考虑到作者学识有限，如有遗漏或错误之处，欢迎读者批评指正。如有需要获取项目源代码，可通过相应方式获取。

       参考资源：

       美团 - Quartz应用与集群原理分析

       掘金 - 分布式定时任务框架Quartz

技术人生阅读源码——Quartz源码分析之任务的调度和执行

       Quartz源码分析：任务调度与执行剖析

       Quartz的调度器实例化时启动了调度线程QuartzSchedulerThread，它负责触发到达指定时间的任务。该线程通过`run`方法实现调度流程，包含三个主要阶段：获取到达触发时间的triggers、触发triggers、执行triggers对应的jobs。

       获取到达触发时间的triggers阶段，通过`JobStore`接口的`acquireNextTriggers`方法获取，由`RAMJobStore`实现具体逻辑。触发triggers阶段，调用`triggersFired`方法通知`JobStore`触发triggers，处理包括更新trigger状态与保存触发过程相关数据等操作。执行triggers对应jobs阶段，真正执行job任务，小米影视源码先构造job执行环境，然后在子线程中执行job。

       job执行环境通过`JobRunShell`提供，确保安全执行job，捕获异常，并在任务完成后根据`completion code`更新trigger。job执行环境包含job对象、trigger对象、触发时间、上一次触发时间与下一次触发时间等数据。Quartz通过线程池提供多线程服务，使用`SimpleThreadPool`实例化`WorkerThread`来执行job任务，最终调用`Job`的`execute`方法实现业务逻辑。

       综上所述，Quartz通过精心设计的线程调度与执行流程，确保了任务的高效与稳定执行，展示了其强大的任务管理能力。

一文读懂，硬核 Apache DolphinScheduler3.0 源码解析

       全网最全大数据面试提升手册！

       一、DolphinScheduler设计与策略

       了解DolphinScheduler，首先需要对调度系统有基础的了解，本文将重点介绍流程定义、流程实例、任务定义与任务实例。DolphinScheduler在设计上采用去中心化架构，集群中没有Master与Slave之分，提高系统的稳定性和可用性。

       1.1 分布式设计

       分布式系统设计分为中心化与去中心化两种模式，每种模式都有其优势与不足。中心化设计的集群中Master与Slave角色明确，Master负责任务分发与监控Slave健康状态，Slave执行任务。去中心化设计中，所有节点地位平等，无“管理者”角色，减少单点故障。

       1.1.1 中心化设计

       中心化设计包括Master与Slave角色，Master监控健康状态，均衡任务负载。但Master的单点故障可能导致集群崩溃，且任务调度可能集中于Master，产生过载。

       1.1.2 去中心化设计

       去中心化设计中，所有节点地位平等，通过Zookeeper等分布式协调服务实现容错与任务调度。这种设计降低了单点故障风险，但节点间通信增加了实现难度。

       1.2 架构设计

       DolphinScheduler采用去中心化架构，由UI、API、MasterServer、Zookeeper、WorkServer、Alert等组成。MasterServer与WorkServer均采用分布式设计，通过Zookeeper进行集群管理和容错。

       1.3 容错问题

       容错包括服务宕机容错与任务重试。Master容错依赖ZooKeeper，Worker容错由MasterScheduler监控“需要容错”状态的任务实例。任务失败重试需区分任务失败重试、流程失败恢复与重跑。

       1.4 远程日志访问

       Web(UI)与Worker节点可能不在同一台机器上，远程访问日志需要通过RPC实现，确保系统轻量化。

       二、源码分析

       2.1 工程模块介绍与配置文件

       2.1.1 工程模块介绍

       2.1.2 配置文件

       配置文件包括dolphinscheduler-common、API、MasterServer与WorkerServer等。

       2.2 API主要任务操作接口

       API接口支持流程上线、定义、查询、修改、发布、下线、启动、停止、暂停、恢复与执行功能。

       2.3 Quaterz架构与运行流程

       Quartz架构用于调度任务，Scheduler启动后执行Job与Trigger。基本流程涉及任务初始化、调度与执行。

       2.4 Master启动与执行流程

       Master节点启动与执行流程涉及Quartz框架、槽（slot）与任务分发。容错代码由Master节点监控并处理。

       2.5 Worker启动与执行流程

       Worker节点执行流程包括注册、接收任务、执行与状态反馈。负载均衡策略由配置文件控制。

       2.6 RPC交互

       Master与Worker节点通过Netty实现RPC通信，Master负责任务分发与Worker状态监控，Worker接收任务与反馈执行状态。

       2.7 负载均衡算法

       DolphinScheduler提供多种负载均衡算法，包括加权随机、平滑轮询与线性负载，通过配置文件选择算法。

       2.8 日志服务

       日志服务通过RPC与Master节点通信，实现日志的远程访问与查询。

       2.9 报警

       报警功能基于规则筛选数据，并调用相应报警服务接口，如邮件、微信与短信通知。

       本文提供了DolphinScheduler的核心设计与源码分析，涵盖了系统架构、容错机制、任务调度与日志管理等方面，希望对您的学习与应用有所帮助。

《深入理解react》之调度引擎——Scheduler

       深入理解react

       在react 版本发布以来的近两年时间里，许多伙伴都体验到了并发模式带来的爽感，createRoot()的使用让应用有了更流畅的体验。而这一切的核心，便是react执行流中的调度引擎——Scheduler。调度，这个概念在计算机行业中广泛存在，无论是操作系统、浏览器还是大型应用，都离不开调度任务的需求。Scheduler，作为独立的包，不仅可以在react中使用，更可以在任何其他库中发挥作用，其简洁的源码使深入理解react成为可能。

       为何需要调度器？首先是为了解决卡顿问题。在js引擎和渲染绘制都在同一线程执行的情况下，如何保证帧的刷新频率不被CPU密集型任务阻塞？其次，react会生成具有优先级的任务，优先级高的任务可能在后面产生，调度器能确保优先级高的任务优先执行，以提升用户体验。

       Scheduler通过暴露的方法如unstable_scheduleCallback，可以按照优先级的高低顺序调度任务，并保证异步执行。在实际体验中，我们可以创建工程来测试Scheduler的执行时机，发现它会遵循优先级顺序，优先执行高优先级任务，并在下一个宏任务中异步执行。

       源码解析中，小根堆作为关键数据结构，用于维护优先级队列。Scheduler使用小根堆来管理任务，优先级最高的任务始终处于堆顶。优先级的动态调整确保了任务在调度过程中的灵活排序。例如，随着时间推移，新任务的优先级会逐渐提高，使得原有任务在下一个周期中优先执行。

       Scheduler的核心逻辑在工作循环中体现，通过合理调度不同优先级的任务，既不阻碍UI绘制，又能高效执行任务。对于大任务，用户可以通过拆分策略，将其划分为多个小任务，以避免阻塞UI，实现流畅的用户体验。

       最后，Scheduler在react中扮演着关键角色，通过合理的任务调度，确保应用流畅运行。深入理解Scheduler，将为深入理解react提供坚实的基础。关注专栏，获取更多react相关知识。

分布式任务调度平台xxl-job

       后端服务都无法避免遇到需要定时调度任务的场景，为了满足需求，介绍一款 “开发迅速、学习简单、轻量级、易扩展” 的分布式任务调度平台xxl-job。 现已开放源代码并接入多家公司线上产品线，开箱即用。

一、介绍1.1 主要部分

       xxl-job 主要包含2部分：

调度中心(xxl-job-admin)

       管理调度任务，负责触发调度执行，并且提供web任务管理平台。

       运行报表：统计任务的执行状态

       执行器管理：注册调度任务执行的AppName, 其由服务IP+端口列表组成

       任务管理：在执行器下，设置需要调度的任务

       新增任务：

       基础配置：执行器、任务描述、负责人、任务失败后的报警邮箱

       调度配置：调度类型(默认CRON)、CRON表达式

       任务配置：运行模式分BEAN 和 GLUE, JobHandler(执行器服务中声明的Handler)、任务参数(可选)

       高级配置：路由策略(多个执行服务的路由策略)、子任务ID(任务完成后继续执行的任务ID)、调度过期策略(调度中心错过调度时间的补偿处理策略)、阻塞处理策略、任务超时时间、失败重试次数

       调度日志：筛选和查看各定时任务执行的日志

执行器

       负责接收调度中心的请求并执行任务逻辑。

       执行器 就是在 后台服务 中内嵌Server , 来支持 调度中心 的调用，服务地址通过appname归类

       使用ip+port来确定执行器地址。

1.2 流程1.3 架构图二、使用

       Xxl-job对 java 的支持度较好, 同时也提供 RESTful API 服务，从而方便对其他语言的支持。

2.1 java项目(with SpringBoot)

       在pom.xml中添加xxl-job-core包

<!--定时任务所需要的jar包 --><dependency><groupId>com.xuxueli</groupId><artifactId>xxl-job-core</artifactId><version>2.3.0</version></dependency>

       配置configuration 以及 配置类

       在application.yml添加配置，如果使用配置服务例如Spring Cloud Config或Nacos等配置服务时修改对应服务的配置文件即可。

#xxljob 分布式调度配置xxl-job:appname: my-local-job-executorport: addresses: /post/

linux内核——调度之SMP负载均衡

       在多处理器系统上，内核必须考虑额外问题，确保良好的调度。Linux SMP调度，即进程安排和迁移到合适的CPU，保持各CPU负载均衡的过程。系统启动时开始构建CPU拓扑关系。

       以ARM的4核处理器为例，系统构建的调度域与调度组的拓扑关系图展现如下。在唤醒进程时，内核需决定由哪个CPU执行该进程。若唤醒的CPU与该进程之前运行的CPU不同，优先选择唤醒CPU执行，否则选择先前运行该进程的CPU。

       欲深入了解Linux内核源码高阶知识，可加入开发交流Q群，获取相关资料与观看公开课技术分享。群内资源免费领取，学习直通车等待您的加入，无需担忧任何费用，快来体验学习新纪元吧！

Ray 源码解析（一）：任务的状态转移和组织形式

       Ray源码解析系列的第一篇着重于任务的状态管理和组织形式。Ray的核心设计在于其细粒度、高吞吐的任务调度，依赖于共享内存的Plasma存储输入和输出，以及Redis的GCS来管理所有状态，实现去中心化的调度。任务分为无状态的Task和有状态的Actor Method，后者包括Actor的构造函数和成员函数。

       Ray支持显式指定任务的资源约束，通过ResourcesSet量化节点资源，用于分配和回收。在调度时，需找到满足任务资源要求的节点。由于Task输入在分布式存储中，调度后需要传输依赖。对于Actor Method，其与Actor绑定，会直接调度到对应的节点。

       状态变化如任务状态转移、资源依赖等信息，都存储在GCS中。任务状态更改需更新GCS，失联或宕机时，根据GCS中的状态信息重试任务。通过GCS事件订阅驱动任务状态变化。

       文章主要讲述了任务状态的组织方式，如任务队列（TaskQueue）和调度队列（SchedulingQueue）的运作，以及状态转移图和状态枚举类的定义。例如，TaskQueue负责任务的增删查改，其中ReadyQueue通过资源映射优化调度决策。此外，文中还解释了一些关键概念，如Task Required Resources、Task argument、Object、Object Store、Node/Machine等。

       后续文章将深入探讨调度策略和资源管理。让我们期待下篇的精彩内容。