如何在Mac使用Intellij idea搭建远程Hadoop开发环境

       （1）准备工作

       1）

       安装JDK

       6或者JDK

       7

       2）

       安装scala

       2..x

       (注意版本)

       2）下载Intellij

       IDEA最新版（本文以IntelliJ

       IDEA

       Community

       Edition

       .1.1为例说明，不同版本，界面布局可能不同）

       3）将下载的Intellij

       IDEA解压后，安装scala插件，流程如下：

       依次选择“Configure”–>

       “Plugins”–>

       “Browse

       repositories”，输入scala，源码中0然后安装即可

       （2）搭建Spark源码阅读环境（需要联网）

       一种方法是直接依次选择“import

       project”–>

       选择spark所在目录

       –>

       “SBT”，之后intellij会自动识别SBT文件，并下载依赖的外部jar包，整个流程用时非常长，取决于机器的网络环境（不建议在windows

       下操作，可能遇到各种问题），一般需花费几十分钟到几个小时。注意，下载过程会用到git，因此应该事先安装了git。突破台阶源码

       第二种方法是首先在linux操作系统上生成intellij项目文件，然后在intellij

       IDEA中直接通过“Open

       Project”打开项目即可。在linux上生成intellij项目文件的方法（需要安装git，不需要安装scala，sbt会自动下载）是：在

       spark源代码根目录下，输入sbt/sbt

       gen-idea

       注：如果你在windows下阅读源代码，建议先在linux下生成项目文件，然后导入到windows中的intellij

       IDEA中。

       （3）搭建Spark开发环境

       在intellij

       IDEA中创建scala

       project，并依次选择“File”–>

       “project

       structure”

       –>

       “Libraries”，选择“+”，将spark-hadoop

       对应的包导入，比如导入spark-assembly_2.-0.9.0-incubating-hadoop2.2.0.jar（只需导入该jar

       包，其他不需要），如果IDE没有识别scala

       库，黑马金融源码则需要以同样方式将scala库导入。之后开发scala程序即可：

       编写完scala程序后，可以直接在intellij中，以local模式运行，方法如下：

       点击“Run”–>

       “Run

       Configurations”，在弹出的框中对应栏中填写“local”，表示将该参数传递给main函数，如下图所示，之后点击“Run”–>

       “Run”运行程序即可。

       如果想把程序打成jar包，通过命令行的形式运行在spark

       集群中，可以按照以下步骤操作：

       依次选择“File”–>

       “Project

       Structure”

       –>

       “Artifact”，选择“+”–>

       “Jar”

       –>

       “From

       Modules

       with

       dependencies”，选择main函数，并在弹出框中选择输出jar位置，蜜蜂购源码并选择“OK”。

       最后依次选择“Build”–>

       “Build

       Artifact”编译生成jar包。

sbt执行标准代表什么？

       sbt是Scala Build Tool的缩写，是一个为Scala应用程序提供构建、依赖管理和分发功能的工具。其执行标准代表了在使用sbt进行软件开发时，应遵循的一套规范和流程。以下是关于sbt执行标准的

       1. sbt的基本功能：sbt作为一个构建工具，它的主要任务是编译源代码、管理项目依赖、处理项目构建的生命周期等。执行标准即是指在使用这些功能时，按照sbt的官方文档和社区最佳实践进行的操作规范。

       2. 标准执行流程的宽带推广源码重要性：遵循sbt的执行标准可以确保项目构建的一致性和可重复性。这意味着无论开发者在何处、使用何种操作系统，都能确保项目的构建结果是一致的。此外，这也有助于提高开发效率，因为很多常见的构建问题可以通过遵循标准来避免。

       3. 具体执行流程的内容：sbt的执行标准包括项目结构的约定、构建文件的编写规范、依赖管理的方式、编译和运行的命令等。例如，项目结构通常遵循一定的目录规范，使得代码组织更加清晰；构建文件使用特定的语法和约定，来描述项目的构建过程；依赖管理则通过特定的命令和配置来完成。

       总的来说，sbt执行标准是为了确保在使用sbt进行Scala应用程序开发时，能够高效、一致地构建项目。遵循这些标准可以提高开发效率，减少错误，并促进团队协作。对于使用sbt的开发者来说，了解和遵循这些执行标准是非常重要的。

SpinalHDL(十一) 最后一英里：企业内网Scala环境搭建(nexus私服)

       在企业内网环境中搭建Scala环境，尤其是当开发团队面临网络隔离时，如何顺利部署Scala环境成为了一个挑战。本文将介绍在不联网的情况下部署Scala环境的三种方法，并通过实际操作和团队支持，成功在内网完成SpinalHDL的部署。同时，内网部署maven私服还能支持公司内部开发库的发布与使用，为团队提供便捷的内部资源管理。

       方法选择：

       在部署Scala环境时，有三种主要策略：单跳部署、两跳部署以及内网部署maven私服。单跳部署通过内网设置nexus私服代理连接互联网Maven仓库，优点是操作相对简单，但存在数据风险。两跳部署则在内网设置nexus代理服务器，再通过隔离黄区代理打断内网和外网的直接通路，更符合传统IC公司的信息隔离要求，但复杂度增加。内网部署maven私服为最彻底的方法，支持内部开发库的发布与使用，确保了数据安全。

       部署流程：

       实现SpinalHDL在内网部署的步骤包括：更新build.sbt添加依赖，使用sbt命令编译缓存jar包到私服，更新Classifiers缓存源码和文档jar包。隔离黄区到内网红区的同步可以通过自动化或手动copy解压完成。为了确保部署顺利，需要根据公司IT团队的指导搭建nexus私服，并配置代理，设置合适的group，以确保缓存信息的可见性与安全性。

       内网操作与配置：

       部署完成后，需要对内网进行配置，如在~/.sbt/repositories中指向内网私服，并在IDEA中设置正确的依赖和JDK。使用sbt命令运行编译操作，确保环境配置正确。使用IDEA打开工程，安装Scala插件并配置好依赖，通过右上角的sbt栏刷新按钮检查是否成功导入。

       普通开发者配置：

       普通开发者需要配置~/.sbt/repositories指向内网私服，并在工程的build.sbt中设置正确的依赖。至少在隔离黄区sbt编译时进行缓存下载。

       版本发布：

       对于内部使用的版本发布，可以采用发布到本地、公共路径或maven私服的方式。本地发布适用于个人使用，公共路径发布则需要修改build.sbt并指定版本号，而maven私服发布则需更新本地maven私服的地址与密钥。

       常见问题与解决方案：

       在部署过程中，可能出现SSL安全报错、内网source.jar包找不到等问题。解决SSL安全报错需要在配置中允许不安全协议。解决source.jar问题，可以尝试取消下载或通过两台机器对比确定问题所在。使用nexus私服的IP地址和端口号搜索包的存在性，以辅助问题排查。