皮皮网

1.Hadoop集群的源码四个配置文件的常用属性解析
2.如何启动jobhistoryserver进程

Hadoop集群的四个配置文件的常用属性解析

       在启动Hadoop集群的守护线程时，配置文件是源码至关重要的部分，它们定义了集群的源码行为和工作方式。Hadoop的源码四个默认配置文件——core-default.xml、hdfs-default.xml、源码mapred-default.xml、源码wcf服务 源码以及yarn-default.xml，源码包含了一系列属性，源码对集群的源码运行有直接影响。下面让我们逐一解析这些文件中的源码常用属性。

       在core-default.xml文件中，源码有一个关键属性是源码hadoop.tmp.dir，其默认值为/tmp/hadoop-${ user.name}。源码视频提交审核源码这代表了Hadoop存储临时文件的源码位置，包括与HDFS和MapReduce相关的源码文件。在安全和分布式环境中，此路径可能不安全，因此通常在/etc/hadoop/core-site.xml中重新设置以确保数据安全。

       fs.defaultFS属性定义了HDFS文件系统的最准免费指标源码主机和端口号，这是在伪分布式或完全分布式环境中配置的关键。主机可以是IP地址或主机名，端口号可以自定义，但默认值在Hadoop 1.x版本为，而在Hadoop 2.x版本为。例如，素材哥网站源码配置可能如下：`fs.defaultFS=hdfs://hostname:`。

       io.file.buffer.size属性指定了集群在读写操作时使用的缓冲区大小，通常默认为4KB。

       在hdfs-default.xml文件中，dfs.namenode.name.dir属性定义了DFS名称节点应存储名称表（fsimage）的位置。dfs.datanode.data.dir属性则定义了DFS数据节点存储块的溯源码双层燕窝位置，以实现冗余。dfs.replication属性定义了数据库副本的数量，通常默认为3。dfs.blocksize属性定义了文件系统中的块大小，单位为字节。dfs.namenode.http-address和dfs.webhdfs.enabled属性则与HDFS的HTTP接口相关，用于设置名称节点的Web UI地址和是否启用WebHDFS。

       mapred-default.xml文件中，mapreduce.framework.name属性指定执行MapReduce作业的运行时框架，如local、classic或yarn。mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address属性则与JobHistory服务相关，用于配置查看已运行作业的服务器地址。

       yarn-default.xml文件则用于配置YARN，文件中属性包括yarn.nodemanager.aux-services用于指定在执行MapReduce作业时使用的混洗技术，yarn.nodemanager.aux-services.mapreduce_shuffle.class指定混洗技术对应的类，以及yarn.resourcemanager.*属性用于配置ResourceManager服务，如主机名、地址等。

       Hadoop集群的这些配置文件和属性的调整，可根据具体需求和环境进行优化，以确保高效和安全的数据处理。通过理解这些配置文件和属性，用户可以更灵活地定制和管理Hadoop集群，满足不同的大数据处理需求。

如何启动jobhistoryserver进程

       Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，启动的方法是通过：

       mr-jobhistory-daemon.sh start historyserver 命令还启动。

       ç”±äºŽå‰é¢æœ‰è¿‡ä¸€ç¯‡é€šè¿‡web查看job的运行情况的文章，文中介绍的是当作业在运行时，如何通过web查看job的运行情况，当job运行完之后，就无法查看，这是由于集群的historyserver 进程没有启动。因此需要手动启动。

       æˆ‘在启动的时候出现错误：

       mnvaild maxumum heap size :-Xmx

       ERROR:could not create the java Virtual Machine 如下图所示：

       é€šè¿‡æŸ¥çœ‹æ‰§è¡Œçš„脚本mr-jobhistory-daemon.sh的内容，发现脚本文件中的内容并未涉及到maxumum heap size的问题，于是可能是脚本文件中调用的其他文件所导致的，如下图所示：

       ç”±äºŽmapred-config.sh 脚本文件并未发现，因此只有mapred-env.sh 脚本文件中出现的问题。于是查看mapred-env.sh 脚本文件，如下图所示：

       è¯¥æ–‡è¯¥ä¸­é˜Ÿjobhistoryserver的堆栈大小进行了设置，

       HADOOP_JOB_HISTORYSERVER_HEAPSIZE的值默认单位是M，因此在设置的时候不需要添加任何的单位，默认设置的值是，于是我将该值设置为。再执行

       mr-jobhistory-daemon.sh start historyserver

       æ­¤æ—¶ï¼Œæ‰§è¡Œhistoryserver启动成功，这时候就可以点击web页面上的job最右边的history的选项，进入作业历史运行界面，查看历史运行信息，包括：运行了多少个map，多少个reduce，多少个counters等等。