1.Spark源码分析——yarn-cluster模式下Application提交源码实现
2.Spark-Submit 源码剖析
3.idea中使用maven的源码常用命令详解
4.Qt实用技巧：在CentOS上使用linuxdeployqt打包发布qt程序
5.利用linuxdeployqt发布可执行程序
6.Maven中的几个重要概念：lifecycle, phase 和 goal

Spark源码分析——yarn-cluster模式下Application提交源码实现

       Spark源码深入解析：yarn-cluster模式下Application提交的详细流程

       Spark客户端在yarn-cluster模式下的核心入口是org.apache.spark.deploy.yarn.Client，这个客户端主要职责是源码向ResourceManager提交并监控Application的运行。以下是源码对submit源码的深入剖析:

       1. 客户端入口与主要方法: Client的main方法首先创建Client实例并执行run()方法，run()方法是源码核心操作。

       2. submitApplication()核心实现: run()方法中的源码关键步骤是submitApplication()，它包含了以下内容:

       初始化Yarn客户端，源码分离开发源码通过org.apache.hadoop.yarn.client.api.YarnClient实现，源码向RM申请新应用，源码生成YarnClientApplication。源码

       检查用户提交的源码资源（如executorMemory、driverMemory）是源码否合法，确保不超过单个container的源码最大资源。

       创建ContainerLaunchContext，源码包括上传依赖资源到HDFS，源码设置Java执行命令（包含ApplicationMaster入口类）和环境变量。源码

       设置application的详细信息，如名称、队列、资源需求等，然后提交至RM启动ApplicationMaster进程。

       3. 资源验证与container创建: 验证用户设置的资源是否满足container限制，并创建执行环境，包括打包依赖文件到HDFS，构建启动ApplicationMaster的Java命令。

       4. 监控与报告: 客户端通过monitorApplication()持续监控应用状态并报告给用户，如：Application report for $appId (state: $state)。

       总结来说，yarn-cluster模式下，Client执行的步骤包括：

       创建Client实例，连接ResourceManager。

       提交申请，获取applicationId和最大资源。

       检查并确保资源请求合法。

       构建ContainerLaunchContext，准备application的运行环境。

       设置并提交application信息，启动ApplicationMaster。

       持续监控并报告application状态。

       这个过程完成后，ApplicationMaster的运行和Driver的控制将作为后续分析的重点。

Spark-Submit 源码剖析

       直奔主题吧：

       常规Spark提交任务脚本如下：

       其中几个关键的参数：

       再看下cluster.conf配置参数，如下：

       spark-submit提交一个job到spark集群中，2048c 源码大致的经历三个过程：

       代码总Main入口如下：

       Main支持两种模式CLI：SparkSubmit；SparkClass

       首先是checkArgument做参数校验

       而sparksubmit则是通过buildCommand来创建

       buildCommand核心是AbstractCommandBuilder类

       继续往下剥洋葱AbstractCommandBuilder如下：

       定义Spark命令创建的方法一个抽象类,SparkSubmitCommandBuilder刚好是实现类如下

       SparkSubmit种类可以分为以上6种。SparkSubmitCommandBuilder有两个构造方法有参数和无参数：

       有参数中根据参数传入拆分三种方式，然后通过OptionParser解析Args，构造参数创建对象后核心方法是通过buildCommand，而buildCommand又是通过buildSparkSubmitCommand来生成具体提交。

       buildSparkSubmitCommand会返回List的命令集合，分为两个部分去创建此List,

       第一个如下加入Driver_memory参数

       第二个是通过buildSparkSubmitArgs方法构建的具体参数是MASTER，DEPLOY_MODE，FILES，CLASS等等，这些就和我们上面截图中是对应上的。是通过OptionParser方式获取到。

       那么到这里的话buildCommand就生成了一个完成sparksubmit参数的命令List

       而生成命令之后执行的任务开启点在org.apache.spark.deploy.SparkSubmit.scala

       继续往下剥洋葱SparkSubmit.scala代码入口如下：

       SparkSubmit，kill，request都支持，后两个方法知识支持standalone和Mesos集群方式下。dosubmit作为函数入口，其中第一步是初始化LOG，然后初始化解析参数涉及到类

       SparkSubmitArguments作为参数初始化类，继承SparkSubmitArgumentsParser类

       其中env是测试用的,参数解析如下，parse方法继承了SparkSubmitArgumentsParser解析函数查找 args 中设置的--选项和值并解析为 name 和 value ，如 --master yarn-client 会被解析为值为 --master 的 name 和值为 yarn-client 的 value 。

       这之后调用SparkSubmitArguments#handle(MASTER, "yarn-client")进行处理。

       这个函数也很简单，根据参数 opt 及 value，设置各个成员的值。接上例，parse 中调用 handle("--master", "yarn-client")后，在 handle 函数中，master 成员将被赋值为 yarn-client。

       回到SparkSubmit.scala通过SparkSubmitArguments生成了args，然后调用action来匹配动作是submit,kill,request_status,print_version。

       直接看submit的action，doRunMain执行入口

       其中prepareSubmitEnvironment初始化环境变量该方法返回一个四元 Tuple ，分别表示子进程参数、子进程 classpath 列表、系统属性 map 、子进程 main 方法。完成了提交环境的准备工作之后，接下来就将启动子进程。

       runMain则是均线偏离源码执行入口，入参则是执行参数SparkSubmitArguments

       Main执行非常的简单：几个核心步骤

       先是打印一串日志（可忽略），然后是创建了loader是把依赖包jar全部导入到项目中

       然后是MainClass的生成，异常处理是ClassNotFoundException和NoClassDeffoundError

       再者是生成Application，根据MainClass生成APP,最后调用start执行

       具体执行是SparkApplication.scala，那么继续往下剥~

       仔细阅读下SparkApplication还是挺深的，所以打算另外写篇继续深入研读~

idea中使用maven的常用命令详解

       Maven 常用命令详解

       使用 Maven 命令，可以高效地对项目进行清理、编译、测试、打包、安装，并部署到本地仓库或远程仓库。其中，几个常用的 Maven 命令包括：maven clean、maven compile、maven test、maven packet、maven install 和 maven deploy。

       一、Maven 常用命令及其作用

       1、maven clean：清理项目，删除 target 目录下的编译内容。

       2、maven compile：编译项目源代码。

       3、maven test：运行项目测试。

       4、maven packet：打包文件并存放到项目的 target 目录下，生成编译后的 class 文件。

       5、maven install：在本地仓库生成安装包，供其他项目引用，同时将打包后的文件存放到项目的 target 目录下。

       二、常用命令使用场景举例

       1、执行 mvn clean package 命令，依次执行了 clean、resources、compile、testResources、testCompile、微粒贷款app源码test、jar（打包）等七个阶段。

       2、执行 mvn clean install 命令，依次执行了 clean、resources、compile、testResources、testCompile、test、jar（打包）、install 等八个阶段，完成项目编译、单元测试、打包，同时将 jar 包部署到本地 maven 仓库，但未部署到远程 maven 私服仓库。

       3、执行 mvn clean deploy 命令，依次执行了 clean、resources、compile、testResources、testCompile、test、jar（打包）、install、deploy 等九个阶段，完成项目编译、单元测试、打包，并将 jar 包部署到本地 maven 仓库和远程 maven 私服仓库。

       三、常见问题解答

       1、mvn clean install 和 mvn install 的区别：mvn install 可能得到的 jar 包为最新版本，除非手动修改 jar 包内容而不修改源代码；mvn clean install 生成最新 jar 包最保险。

       2、maven 跳过单元测试的方法：mvn package -Dmaven.test.skip=true 跳过单元测试及测试代码编译；mvn package -DskipTests 跳过单元测试但会继续编译，建议避免使用。

       3、测试环境部署脚本：mvn clean install -U -Dmaven.test.skip=true 跳过单元测试和测试代码编译；mvn clean install -U -DskipTests 跳过单元测试但会继续编译。马士兵ajax源码

       4、查找 jar 包的引入配置：使用 mvn dependency:tree -Dverbose -Dincludes=要查询的内容，例如 mvn dependency:tree -Dverbose -Dincludes=io.springfox:jakarta.springfox-swagger2。

       Maven 命令提供了一种高效、灵活的方式来管理项目构建和依赖关系，适用于各种规模的项目开发。通过掌握这些命令及其应用场景，开发者可以显著提高项目构建和部署的效率。

Qt实用技巧：在CentOS上使用linuxdeployqt打包发布qt程序

       在CentOS上使用linuxdeployqt打包发布Qt程序，这一过程与Ubuntu或麒麟系统有相似之处，但也存在系统兼容性问题。文章详细介绍了CentOS8.2和CentOS7.5的发布流程，并强调了使用linuxdeployqt的好处。该工具能将应用程序所需的资源（如库、图形和插件）复制到一个包中，使其成为自包含的程序，可以作为AppDir或AppImage分发，也可以放入交叉分发包中。为了确保在不同系统上的一致性，linuxdeployqt特别适用于Qt应用程序的部署。

       使用linuxdeployqt需要访问其源代码下载地址。对于CentOS系统，文章提供了详细的编译步骤。首先，需要下载源码并解压。接着，修改源码，移除版本检查部分，以避免潜在的兼容性问题。确保系统中安装了CMake，这对于构建linuxdeployqt至关重要。在CentOS8.2中，CMake通常是预装的，而在CentOS7.5中，可能需要卸载系统自带的较旧版本，并使用源码安装较新版本，以确保正确编译。

       为了支持Qt的依赖环境，步骤包括指定Qt库的路径，以及使用cmake-gui来配置依赖。这确保了linuxdeployqt能正确识别并打包Qt相关的库，避免运行时错误。配置完成后，通过生成generate文件和执行make命令完成编译。随后，将linuxdeployqt安装到系统目录，并进行测试以确认其正确性。

       打包Qt程序时，确保应用可执行文件和一个空目录准备就绪。使用环境变量设置，特别是通过source env.sh引入QT_DIR到系统路径中，确保打包过程能正确识别和使用Qt库。打包命令使用linuxdeployqt 可执行程序 -appimage，这一步骤将程序及其依赖库打包成一个独立的可执行文件。测试表明，使用此方法打包的Qt程序能在不同CentOS版本上成功运行，无需额外的库加载。

       为了验证这一过程在不同环境中的可靠性，文章介绍了在全新CentOS8.2系统上进行测试的过程。通过对比发现，使用linuxdeployqt -appimage打包的Qt程序能有效解决依赖库问题，确保程序在不同操作系统环境下均可正常运行。

利用linuxdeployqt发布可执行程序

       本文旨在介绍如何使用linuxdeployqt工具发布基于Qt Quick的可执行程序。随着Qt版本的更新，越来越多的开发者转向Qt Quick，因此，理解如何打包这种类型的程序至关重要。

       发布应用程序的基本步骤在不同系统上大体相同，但可能需要设置一些环境变量。例如，若需要将库（libs）、插件（plugins）和QML文件放在特定目录，需要分别设置LD_LIBRARY_PATH、QT_PLUGIN_PATH和QML2_IMPORT_PATH。

       首先，你需要从GitHub下载linuxdeployqt，将其AppImage文件重命名并安装到本地bin目录。确保权限正确，然后检查版本。接下来，设置qmake路径以确保Qt工具链可用。

       在Qt Creator中，生成Release版本的可执行文件，并将其复制到目标目录。对于Qt Quick项目，可能需要指定-qmldir参数。生成的文件可以直接运行，如Helloworld程序。

       在发布过程中，可能会遇到一些常见问题。例如，错误可能源于库依赖未找到，这时需要确保Qt核心库、SVG支持库和qtvirtualkeyboard等正确复制。有时，可能需要根据Qt版本手动编译和安装linuxdeployqt源码。

       总的来说，使用linuxdeployqt打包Qt Quick程序的关键在于正确组织和复制相关的库、插件和QML文件。尽管过程中可能会遇到一些挑战，但只要按照步骤进行，大部分问题都能得到解决。如果有任何疑问，欢迎在文章下方留言，我会及时进行补充和解答。

Maven中的几个重要概念：lifecycle, phase 和 goal

       Maven生命周期是构建项目时执行的一系列阶段，包含清理、生成报告和核心构建部分。

       清理阶段包括:

       1. pre-clean：执行清理前的准备工作

       2. clean：移除上一次构建生成的所有文件

       3. post-clean：清理后立即执行的操作

       生成报告阶段包括:

       1. pre-site：执行生成文档前的工作

       2. site：生成项目站点文档

       3. post-site：生成文档后和部署相关的操作

       4. site-deploy：将站点文档部署至特定服务器

       核心构建包括:

       1. validate：验证工程正确性

       2. initialize：初始化构建平台

       3. 编译源代码：compile

       4. 复制并处理资源文件：process-resources

       5. 包装为指定格式：package

       6. 将包安装至本地仓库：install

       7. 将最终包复制到远程仓库：deploy

       每个阶段的执行由Maven插件中对应的目标goal触发。在配置文件中可以通过指定phase和goal来精确控制执行的阶段和目标。

       例如，以下配置会在编译时执行特定类的方法：

       以上介绍了Maven生命周期、各个阶段和目标的基本概念及其使用方式。

Vue项目的部署

       近期我完成了一个基于Vue的记账项目，下面我将分享我的远程部署过程。

       一、本地预览

       源代码编写完成后，首先将其上传至GitHub，例如：git@github.com:Xin-hai/haiqing-1.git。这个仓库称为源代码仓库，其中dist目录默认不会上传。根据Vue CLI部署指南，需要进行本地预览，确保yarn build打包后的dist目录正确无误。在终端执行官方推荐的命令，启动HTTP服务器访问dist目录。

       由于我使用yarn进行包管理，因此使用yarn命令进行安装。在新的预览地址中，我比较了文件，发现打包后的css和js文件体积比yarn serve得到未打包的体积更小。检查完dist目录打包无误后，可以关闭预览。

       二、GitHub Pages手动推送更新

       新建一个远程仓库地址用于存放dist目录的相关代码，这个仓库仅用于网页展示，如git@github.com:Xin-hai/haiqing-1-website.git。此仓库最好与源代码仓库名称相似，例如在后面加上-website。

       在vue.config.js中设置正确的publicPath。找到vue.config.js并添加如下代码，将'/my-project/'修改为新建的仓库地址名'/haiqing-1-website/'。

       在项目目录上创建deploy.sh并按照官方写入相关代码。我使用的是yarn，进行了一点小的修改。主要修改的是git push -f git@github.com:Xin-hai/haiqing-1-website.git master:gh-pages这句代码，其中的haiqing-1-website是前面新建的存放dist的仓库，也是用于网页展示的仓库。

       在终端运行sh deploy.sh即可自动部署。代码会上传到haiqing-1-website仓库的gh-pages分支上，此分支会自动开启GitHub的pages功能，稍等片刻就能看到网页链接。注意，源代码仓库不会自动更新，需要自己git push相关代码。

       三、码云部署

       为了优化访问速度，我使用了码云gitee。同样，在码云上新建好仓库后，复制ssh地址，将deploy.sh中的git push -f git@github.com:/.github.io.git master修改为码云的。

       在gitee的服务选项中查看Gitee pages功能。

       ------------------------------------------..补充

       在经历一个星期的实名认证之后，我的码云终于可以使用Gitee page功能了。在推送时，除了修改deploy.sh为如下，还需要将vue.config.js中的仓库地址改为码云中的远程仓库地址如下。

       注意，gitee需要手动更新，每次git push后需要手动更新才能看到效果。

       最后，是我最近做的海青记账的GitHub源代码仓库和Gitee源代码仓库，欢迎大家体验和提出建议。

统信UOS系统开发笔记（七）：在统信UOS系统上使用linuxdeployqt发布qt程序

       在统信UOS系统上使用LinuxDeployQt发布Qt程序，本文将详细记录整个过程及解决遇到的问题。在Ubuntu上发布Qt程序相对简单，但统信UOS麒麟系统上遇到版本兼容性问题，使得脚本不可行。因此，选择使用LinuxDeployQt工具打包程序。

       首先，明确系统版本和LinuxDeployQt工具的使用。LinuxDeployQt是一个强大的工具，可以将应用程序及其所需资源打包成可分发的包，如AppDir或AppImage。它可以在构建过程中部署使用C、C++和其他编译语言编写的应用程序，尤其是基于Qt的应用程序。

       对于统信UOS系统而言，系统自带了Qt5库（未包含开发相关库），而程序使用了额外安装的Qt5。因此，需要引入自安装的Qt5库依赖。为了简化配置，建议使用cmake-gui工具进行配置。

       具体步骤如下：

       下载并解压LinuxDeployQt源码。

       在main.cpp中修改代码，注释掉有关gcc版本检查的部分。

       使用cmake进行配置。首先，切换到源码目录，执行cmake CMakeLists.txt。

       删除CMakeCache.txt文件，并重新执行cmake CMakeLists.txt。

       配置Qt依赖环境。麒麟系统自带的Qt库与自安装的Qt库可能存在不兼容问题，需要引入自安装的Qt库。使用sudo安装cmake-gui，并配置Qt路径。

       生成可执行文件。

       编译并生成打包文件。

       在测试阶段，程序在开发机上运行无误，但在裸机上失败。问题出在Qt库的版本不一致，导致无法找到某些API。解决策略是在裸机上手动配置Qt环境，并引入所需的Qt库。

       创建并编辑qt.conf文件，配置Qt库路径。

       拷贝Qt库文件到特定目录，并确保程序能正确访问。

       尝试使用LinuxDeployQt进行打包。

       若打包后仍遇到问题，如依赖库存在错误，需深入分析原因。可能需要尝试不同版本的LinuxDeployQt或调整打包策略，以确保程序在不同环境下的兼容性。

       最终，通过手动配置Qt环境和LinuxDeployQt的使用，成功解决了统信UOS系统上发布Qt程序的问题。整个过程展示了跨系统兼容性问题的解决策略，包括代码修改、环境配置和手动干预等方法。