1.kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境
2.å¦ä½ç¨Macå®ç¾ç¼è¯OpenJDK 7
kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境
在探索Kafka源码的源码过程中,决定搭建本地环境进行实际运行,源码以辅助理解和注释。源码由于日常开发中常使用Kafka 2.7版本,源码选择了在MacBook Pro M1笔记本上搭建此版本的源码源码环境。搭建过程中,源码前端源码 混淆记录了遇到的源码障碍,方便未来再次搭建时不必从头开始。源码 搭建Kafka 2.7源码环境需要准备以下基础环境:一、源码Zulu JDK1.8
在MacBook Pro M1笔记本上,源码基本都已安装JDK,源码版本不同而已。源码使用的源码是Zulu JDK1.8版本,通过下载.dmg格式的源码一键安装,环境自动配置,源码imageprinter pro源码安装路径通常在 /Library/Java/JavaVirtualMachines。二、Scala 2..1
并未在系统里安装Scala,而是直接利用IDEA。按照Preferences -> Plugins -> Scala安装。选择IDEA的不同Scala JDK版本。三、暗黑 mod源码安装Gradle6.6
通过官网gradle.org/releases/下载Gradle6.6版本。如国内下载速度较慢,可直接从百度网盘下载安装包。安装完成后,解压并放置在目录/Users/helloword/software/gradle-6.6,通过mac终端执行指令配置环境。四、金币菇源码Zookeeper3.4.6安装
直接从百度网盘下载zookeeper-3.4.6.tar.gz包,解压后放置在三台机器的/app目录下。在每个目录中创建data子目录,并建立myid文件,按照特定数字填写。在zoo.cfg文件中进行配置并复制至其他机器。五、乐动力 源码Kafka2.7源码部署
从官网下载Kafka 2.7源码,或从百度网盘获取。解压至目录/Users/helloword/software/kafka/kafka-2.7.0-src,并通过Gradle构建环境。在mac终端执行指令,生成gradle-wrapper.jar,配置依赖。将源码导入IDEA,加载Gradle构建的项目。六、源码运行
确保源码运行打印日志,需将log4j.properties复制到core的 resources目录,并在build.gradle中添加log4配置。修改config/server.properties配置,包括zookeeper路径和broker的ip。配置server、consumer、producer三个进程,确保Kafka服务、消费者和生产者能够正常工作。 整个Kafka 2.7版本源码的本地搭建步骤完成。后续计划撰写系列文章总结阅读源码的经验。关注公众号写代码的朱季谦,获取更多分类归纳的博客。å¦ä½ç¨Macå®ç¾ç¼è¯OpenJDK 7
å段æ¶é´ä¸ºäºç 究JVMï¼äºæ¯å»ä¸äºOpenJDK6ç¼è¯ä¸æï¼å°±å 为å°å£°å¡é©±å¨ï¼å没æ¥å°å¦ä½è§£å³ï¼ç»ææ»æ¯ç¼è¯ä¸æåï¼éæ¾å¼ãä½æ¯è¿æ¥è°è¯jdkæºç çæ¶åï¼åç°å¾å¤è°è¯ä¿¡æ¯é½æ²¡æï¼çå¾æé£ä¸ªè¾è¦åãæ£å¥½ä¸æåæåç¼è¯äºOpenJDK7ï¼æå°±åå»ä¸äºä¸ä¸ªè¯ç¼ï¼è½ç¶å¨CentOSä¸æåäºï¼ä½æ¯æMacä¸åç¨ä¸äºï¼æ以æå°±è±äºç¹æ¶é´å次å¨Macä¸å¼ä¸æ¬¡ãæ´ä½æ¥è¯´è¿ç®é¡ºå©ï¼ç°å¨å·²ç»å¾å¼å¿çç¨ä¸äºã
1.éæ©OS Xçæ¬å¾éè¦ã
ç®åæçMacçæ¬æ¯.ï¼ä¸å¼å§æ²¡æ³é£ä¹å¤ï¼é ç½®å¥½å¿ è¦ä¿¡æ¯ä»¥åå°±å¼å§ç¼ï¼ç»æé误满å±ãç®åçè¿ä¹ååç°æ¯ç¼è¯Cæ件çæ¶ååæ°æ误ï¼äºæ¯æ¥äºä¸ä¸ï¼æç¥éæ¯LLVMçæ¬å¤ªæ°ï¼ä¸å ¼å®¹ä½çæ¬çä¸äºç¼è¯åæ°ï¼å ·ä½çå¯ä»¥ççè¿ç¯æç« /blog/ ç第8ç¹ãæä¹ç §çä¸é¢æ¹äºç¹ä»£ç ï¼ä½æ¯ä¾æ§ç¼è¯ä¸è¿ãè¿æ¶ææ³å°ä¸ä¸ªå¾ç®åçåæ³ï¼æ¢ç¶é«çæ¬ä¸è¡ï¼æå°±è£ ä¸ªä½çæ¬çåãç±äºææ°çOS Xä¸è½è£ ä½çæ¬çXcodeï¼è£ äºXcodeæè½è£ LLVMï¼ï¼æ以å»ä¸äºä¸ä¸ª.8çOS Xè£ å¨èææºéï¼ç¶ååè£ ä¸ªXcode4.4ï¼å°ååé¢éä¸ã
è£ å¥½Xcode以åï¼è¦æå¨ä¸è½½LLVMå®è£ ãæå¼Xcodeï¼é便建ç«ä¸ä¸ªç©ºé¡¹ç®ï¼ç¶åæå¼Preferencesï¼æ¾å°å¦ä¸æ示çå°æ¹å¼å§å®è£ ï¼å 为æå·²ç»å®è£ è¿äºï¼æ以æ¯Installedï¼
第ä¸æ¥å±å°±è¿ä¹æå®äºã
2.å®è£ X
Xè¿ç©ææ¯unixç±»os使ç¨çå¾å½¢ç³»ç»ï¼.8以åçOS Xæ¯èªå¸¦çï¼ä½æ¯ä»æ¤ä»¥åå°±ä¸èªå¸¦äºã对åºäºMacï¼ä½ éè¦è£ XQuartzï¼è¿ä¸ªæ²¡æçæ¬éå¶ï¼å»ç½ä¸ä¸ææ°çå³å¯ãè£ è¿ä¸ªçåå æ¯å½æ¶å¨ç¼è¯PolicyToolsçæ¶ååºç°äºå¦ä¸é误ï¼
ld: library not found for -lX
åé¢æ¥å°äºè¿ä¸ª/hgomez/obuildfactory/wiki/Building-and-Packaging-OpenJDK7-for-OSXæå»æ³çè¯è£ ä¸ä¸XQuartzæ解å³é®é¢çã
å®è£ 以åè¦ä¸ºX建ç«è½¯è¿æ¥
sudo ln -s /usr/X/include/X /usr/include/X
3.å®è£ freetype
å¨linuxä¸ç¼è¯openjdkçæåå¯è½éå°è¿éè¦å®è£ freetypeçè¦æ±ï¼ç¶åå®è£ ä¸å¹¶å°å®è£ ç®å½å å°ç¯å¢åéé就好äºãä½æ¯OS Xä¸ä¸æ ·ï¼freetypeåç¬å®è£ å®é æ¯æ²¡ç¨çãè½ç¶åç¬å®è£ è½è®©ç¼è¯åçæ£æ¥éè¿ï¼ä½æ¯å°åé¢è¿æ¯ä¼åºéï¼è³äºåå æ没æ¾å°ãé£æä¹åå¢ï¼å®é ä¸å¦æå®è£ 好Xï¼freetypeå°±ä¸èµ·å®è£ 好äºï¼å¤§å®¶å¯ä»¥å»Xçç®å½éççæ¯å¦æfreetypeã
è½ç¶è¯´å®è£ äºXå°±èªå¸¦freetypeï¼ä½æ¯ç¼è¯è¿ç¨ä¸å¯è½ä¼åºç°å¦ä¸é误ï¼
error: freetype/config/ftheader.h: No such file or directory
å®é ä¸å°±æ¯ç®å½é®é¢ï¼æ§è¡ä¸é¢è¿å¥å½ä»¤å°±å¥½äºï¼
sudo ln -s /usr/X/include/freetype2/freetype/ /usr/X/include/freetype
4. é ç½®ç¯å¢åé
åå¨Linuxä¸ç¼è¯ç¸æ¯ï¼OS Xçç¯å¢åéé ç½®ç¸å¯¹æ¥è¯´ç®åå¾å¤ãåªéè¦é ç½®ç¼è¯éè¦çjdkållvmçç®å½å°±å¯ä»¥äºã
å 为å¾å¤æºä»£ç é½æ¯ç¨æ¬æºç°æçjdkæ¥ç¼è¯ï¼æ以é¢è£ ä¸ä¸ªä½çæ¬çjdkæ¯å¿ é¡»çï¼è¿éæ们éè¦å®è£ jdk6ãå®è£ 好以åï¼æ¾å°å ¶å®è£ ç®å½ï¼å¹¶æ·»å å¦ä¸ç¯å¢åéï¼
[plain] view plaincopy
export ALT_BOOTDIR=/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home
é常æ¥è¯´å®è£ ç®å½é½åºè¯¥å¨/System/Library/Java/JavaVirtualMachinesç®å½ä¸ãå¦æä¸å¨çè¯ï¼æ个æå·§å¯ä»¥æ¾å°ãå 为å®è£ 好jdk以åï¼ç³»ç»ä¼èªå¨å¨/usr/binä¸å»ºç«æåjavaå½ä»¤ç软è¿æ¥ï¼æ以æ§è¡âls -l /usr/bin/javaâå°±è½çå°è¿ä¸ªå½ä»¤æååªï¼ç¶åè¿ä¹é¡ºçæ¾ä¸å»å°±è½æ¾å°ã
llvmæ¯ç¼è¯Cç±»æ件æå¿ é¡»çï¼æ以è¦æå®çæå¨ç®å½æ·»å å°ç¯å¢åééãé常OS Xä¸å®è£ appé½ä¼æapp移å°Applicationsç®å½ä¸ï¼æ以ææåå®è£ Xcodeçæ¶åä¹æä»ç§»è¿å»äºï¼å¦æä½ æXcodeæ¾å¨äºå«çç®å½ï¼é£å°±æ¾å°å¯¹åºçç®å½å³å¯ã
[plain] view plaincopy
export ALT_COMPILER_PATH=/Applications/Xcode.app/Contents/Developer/usr/bin
5.è·åç¼è¯æºç
æç §è¿ä¸é¢ç第ä¸ç¹è·åæºä»£ç /arungupta/entry/build_open_jdk_7_on å¦æ没æè£ hgçéè¦èªè¡å®è£
å°ç°å¨ä¸ºæ¢ï¼ç¼è¯åçåå¤å·¥ä½å·²ç»å®æãæ们å¯ä»¥å æ§è¡make sanityæ§è¡ä¸ç¼è¯åçæ£æ¥ãå¦ææ£æ¥éè¿ï¼å æ¥ççå ·ä½çç¼è¯å½ä»¤ï¼
[plain] view plaincopy
make ALLOW_DOWNLOADS=true SA_APPLE_BOOT_JAVA=true SKIP_DEBUG_BUILD=false SKIP_FASTDEBUG_BUILD=false ALWAYS_PASS_TEST_GAMMA=true HOTSPOT_BUILD_JOBS=`sysctl -n hw.ncpu`
è¿éæ两个é®é¢ï¼
a. ALLOW_DOWNLOADS=true表示ç¼è¯è¿ç¨ä¸å 许ä¸è½½ãå 为æäºç¼è¯æ¨¡åï¼æ¯å¦jaxpï¼ç¼è¯èæ¬ä¸æå®äºéè¦ä¸è½½ç¹å®çå ãè½ç¶æ没è¯è¿è®¾ç½®æfalseä¼ä¸ä¼å½±åç¼è¯ï¼ä½æ¯è¿æ¯æ¨è设置ætrueãä½æ¯è¿å°±å¸¦æ¥å¦ä¸ä¸ªé®é¢ï¼ä¸è½½è¿ç±»å å¾è´¹æ¶é´ï¼ææ¶åå°±ä¼å¨é£å¡å¾é¿æ¶é´ï¼æ以ææ ¹æ®ç¼è¯æ¥å¿æ¾å°ç¼è¯èæ¬ä¸æ§å¶ä¸è½½çå ·ä½å½ä»¤ï¼ä¿®æ¹ä¿®æ¹å¹¶ä¸æç¨è¿ é·ä¸ç对åºå æ¾å°æ£ç¡®ç®å½ä¸ï¼ç¶åéæ°ç¼è¯ä¸éï¼å°±è½é¡ºå©éè¿äºãè¿ä¸ç¹åé¢æä¼è¯¦è¯´ã
b. SKIP_DEBUG_BUILD=false SKIP_FASTDEBUG_BUILD=falseè¿ä¸¤ä¸ªè¡¨ç¤ºç¼è¯åºæ¥çjdkæè hotspotæ¯å¦å¯ä»¥debugãFASTDEBUG表示çåºè¯¥æ¯æä¾ç®åçdebugåè½ï¼å¦ææ³è¦å®æ´çdebugï¼åSKIP_DEBUG_BUILDå¿ é¡»è®¾ç½®ä¸ºfalseãä¸è¿è¿éæéä¸ç¹ï¼å¦ææ³å¨debug jdkçæ¶åè½çå°debugä¿¡æ¯ï¼æ¯å¦åéåçï¼åªéè¦SKIP_FASTDEBUG_BUILD设置为falseå°±å¯ä»¥äº
å¦æè¿ä¸¤ä¸ªé®é¢é½ä¸æ¯é®é¢ï¼é£ä¹ä½ å°±å¯ä»¥æå车äºãå¦ædebugåfastdebugé½æ¯falseï¼åå ä¸ç¨èææºç¼è¯ï¼æ以éè¦çæ¶é´ä¼æ¯è¾é¿ï¼ä½ ä¹è®¸éè¦æ¾ä¸é¨é¿ä¸ç¹ççµå½±æ¥æ¶ç£¨ä¸ä¸äºãæåç¼è¯åºæ¥çç»ææ¯è¿æ ·çï¼
j2sdk-imageå°±æ¯ä½ èªå·±ç¼è¯åºæ¥çjdkï¼å¯ä»¥ç´æ¥ç¨äºãè³äºå ¶ä»ç®å½ä¸çå 容ï¼åä½èªå·±ç¢ç£¨å§ã
ç°å¨æ¥è¯´ä¸ALLOW_DOWNLOADS=trueå¼èµ·çé®é¢ã
ç¼è¯è¿ç¨ä¸è¦ä¸è½½å¤å°å æä¸æ¸ æ¥ï¼ä½æ¯æ个人éå°ä¸è½½å¾ä¹ çå æ»å ±æä¸ä¸ªï¼
jaxp_.zipãjdk7-jaf-__.zipãjdk7-jaxws2_2_4-b-__.zip
æä¹å说è¿å¯ä»¥ä¿®æ¹ç¼è¯èæ¬è·³è¿ä¸è½½å¹¶ä¸ç¨æ们已ç»ä¸è½½å¥½çï¼ä½æ¯å®é ç¼è¯è¿ç¨ä¸ï¼è¿ä¸ä¸ªå 对åºççç¼è¯èæ¬æ¯å¨æçæçï¼æä»¥ä½ åªè½çå°ä»å¡å¨é£äºï¼æè½åä¸æ¥å¹¶æ¾å°èæ¬ä¿®æ¹ä¹ãå æ¤å 为è¿ä¸ä¸ªå ï¼æ们æ»å ±éè¦å3次ãè½ç¶æç¹èç¼ï¼ä½æ¯æ¯èµ·ä¸ç´å¡å¨é£å¥½å¤ªå¤äºã
å设æ们ç¼è¯çæ¯æ®éçæ¬ï¼å³éDEBUGåéFASTDEBUGãä¸é¢ä»¥jaxp_.zip为ä¾å讲ä¸ä¸æä¹ä¿®æ¹å¯¹åºèæ¬ï¼
èæ¬æå¨ä½ç½®ï¼openjdkæ ¹ç®å½/build/macosx-universal/jaxp/build/xml_generated/build-drop-jaxp_src.xml