皮皮网
皮皮网

【黄老师讲源码】【电力监控系统源码】【成员管理系统源码】cdh 源码patch

时间:2024-12-23 22:48:36 来源:发号系统源码

1.Cloudera的CDH和Apache的Hadoop的区别

cdh 源码patch

Cloudera的CDH和Apache的Hadoop的区别

       ã€€ã€€ç›®å‰è€Œè¨€ï¼Œä¸æ”¶è´¹çš„Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s

       Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data

       Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:

       ã€€ã€€(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop

       1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;比Apache

       hadoop在兼容性,安全性,稳定性上有增强。

       ã€€ã€€(2)CDH3版本是基于Apache hadoop 0..2改进的,并融入了最新的patch,CDH4版本是基于Apache hadoop

       2.X改进的,黄老师讲源码CDH总是并应用了最新Bug修复或者Feature的Patch,并比Apache

       hadoop同功能版本提早发布,更新速度比Apache官方快。

       ã€€ã€€(3)安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证

       ã€€ã€€(4)CDH文档清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。

       ã€€ã€€(5)CDH支持Yum/Apt包,Tar包,RPM包,Cloudera Manager四种方式安装,Apache

       hadoop只支持Tar包安装。

       ã€€ã€€æ³¨ï¼šCDH使用推荐的Yum/Apt包安装时,有以下几个好处: 1、联网安装、升级,非常方便 2、自动下载依赖软件包

       ã€€ã€€3、Hadoop生态系统包自动匹配,不需要你寻找与当前Hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包,并保证兼容性。

       ã€€ã€€4、自动创建相关目录并软链到合适的地方(如conf和logs等目录);自动创建hdfs,

       mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责mapreduce执行过程中相关目录的权限。

更多内容请点击【百科】专栏