皮皮网

1.大数据开发之安装篇-7 LZO压缩
2.如何编写hadoop java程序
3.CentOS7安装pyspark(python3)
4.如何在hadoop-2.6.0上编译运行自己编写的java代码

大数据开发之安装篇-7 LZO压缩

       在大数据开发中，源码Hadoop默认不内置LZO压缩功能，编译若需使用，安装需要额外安装和配置。源码以下是编译安装LZO压缩的详细步骤：

       首先，确保你的安装简单留言板源码Hadoop版本为hadoop-3.2.2。安装过程分为几个步骤：

       1. 安装LZO压缩工具lzop。源码你可以从某个下载地址获取源代码，编译然后自行编译。安装如果编译过程中遇到错误，源码可能是编译缺少必要的编译工具，需要根据提示安装。安装

       2. 完成lzop编译后，源码编辑lzo.conf文件，编译并在其中添加必要的安装配置。

       3. 接下来，安装Hadoop-LZO。gateone源码修改从指定的下载资源获取hadoop-lzo-master，解压后进入目录，使用Maven获取jar文件和lib目录中的.so文件。执行一系列操作后，将生成的native/Linux-amd-/lib文件夹中的内容复制到hadoop的lib/native目录。

       4. 将hadoop-lzo-xxx.jar文件复制到share/hadoop/common/lib目录，确保与Hadoop环境集成。

       5. 配置core-site.xml文件，create源码图添加LZO相关的配置项，以便在Hadoop中启用LZO压缩。

       对于Hadoop 和版本，也需要重复上述步骤。如果是在集群环境中，可以考虑使用分发方式将配置同步到其他主机。

       最后，记得重启集群以使更改生效。21源码网这样，你就成功地在Hadoop中安装并配置了LZO压缩功能。

如何编写hadoop java程序

       ã€€ã€€1.编译java

       ã€€ã€€# mkdir class

       ã€€ã€€#Javac -classpath .:lib/hadoop-common-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar -d class HADemo.java

       ã€€ã€€2.生成jar包

       ã€€ã€€#jar -cvf hademo.jar -C class/ .

       ã€€ã€€added manifest

       ã€€ã€€adding: com/(in = 0) (out= 0)(stored 0%)

       ã€€ã€€adding: com/wan/(in = 0) (out= 0)(stored 0%)

       ã€€ã€€adding: com/wan/demo/(in = 0) (out= 0)(stored 0%)

       ã€€ã€€adding: com/wan/demo/HADemo.class(in = ) (out= )(deflated %)

       ã€€ã€€3.测试运行

       ã€€ã€€#hadoop jar hademo.jar com.wan.demo.HADemo /test

       ã€€ã€€æ£€æµ‹ï¼š

       ã€€ã€€#hadoop fs -ls /

CentOS7安装pyspark(python3)

       本文档详细记录了在CentOS7的最小化系统虚拟机中安装pyspark的步骤，涉及的版本均为年1月的最新版，包括Java 1.8.0，Hadoop 3.0.3，Python 3.7.2和Spark 2.4.0。

       首先，spring 源码扩展从下载链接下载所有需要的软件包，存储在/root/download目录下，然后在/usr/local目录下进行安装。在CentOS 7的配置中，要确保网络连接自动启动，设置静态IP，并安装wget以进行后续操作。

       安装Java时，将下载的文件解压到/usr/local/java，然后编辑环境变量文件。通过检查是否显示Java安装成功，确认安装过程已成功。

       安装Hadoop，将文件解压到/usr/local/hadoop，编辑环境变量，配置文件中的路径和用户设置，初始化HDFS文件系统，创建hadoop3用户，并设置SSH免密码登录。启动HDFS和YARN后，可通过jps命令验证服务运行，并关闭防火墙服务以允许外部访问。

       Python3的安装则需要添加必要的软件源，进行解压和编译，创建python3和pip3的软链接，并确认安装成功。编辑yum和urlgrabber-ext-down以适应Python3环境。

       最后，编辑/etc/profile，为pyspark设置环境变量，启动Spark后，看到Spark界面即表示安装完成。

如何在hadoop-2.6.0上编译运行自己编写的java代码

       åœ¨ä¸ä½¿ç”¨eclipse情况使java程序在hadoop 2.2中运行的完整过程。整个过程中其实分为java程序的编译，生成jar包，运行测试。

       è¿™ä¸‰ä¸ªæ­¥éª¤è¿ç”¨çš„命令都比较简单，主要的还是如何找到hadoop 2.2提供给java程序用来编译的jar包。具体可以查看:

       HADOOP_HOME/share/hadoop/.wan.demo;

       import java.io.IOException;

       import org.apache.hadoop.conf.Configuration;

       import org.apache.hadoop.fs.FileSystem;

       import org.apache.hadoop.fs.Path;

       public class HADemo {

        public static void main(String[] args) {

        // TODO Auto-generated method stub

        mkdir(args[0]);

        }

        public static void mkdir(String dir){

        Configuration configuration=new Configuration();

        FileSystem fs;

        try {

        fs = FileSystem.get(configuration);

        fs.mkdirs(new Path(dir));

        fs.close();

        } catch (IOException e) {

        // TODO Auto-generated catch block

        e.printStackTrace();

        }

        }

       }

       æŠŠHADemo.java文件拷贝到linux环境中

       é…ç½®HADOOP_HOME/bin到环境中，启动集群，进入HADemo.java文件目录中

       æ³¨:下面的lib目录里面的文件由HADOOP_HOME/share/hadoop/mon-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar -d class HADemo.java

       2.生成jar包

       #jar -cvf hademo.jar -C class/ .

       added manifest

       adding: com/(in = 0) (out= 0)(stored 0%)

       adding: com/wan/(in = 0) (out= 0)(stored 0%)

       adding: com/wan/demo/(in = 0) (out= 0)(stored 0%)

       adding: com/wan/demo/HADemo.class(in = ) (out= )(deflated %)

       3.测试运行

       #hadoop jar hademo.jar com.wan.demo.HADemo /test

       æ£€æµ‹ï¼š

       #hadoop fs -ls /

       ç»“束！