讓我來告訴你，學習大數據都是要安裝哪些軟件

文章更新於：2020-04-09
注：用於彙總大數據相關軟件安裝教程。

一、軟件總覽

軟件名	筆者博客	下載鏈接	備註
ssh	安裝 SSH	使用 apt/yum 安裝	安裝 SSH
jdk 1.8.0_241	安裝 JDK	下載 JDK	安裝 JDK
hadoop 3.2.1	安裝 HADOOP	下載 HADOOP	安裝 HADOOP
eclipse-Java
hbase 2.2.4	安裝 HBase	下載 HBASE	安裝 HBASE
scala 2.12.11	安裝 SCALA	下載 SCALA	安裝 SCALA
spark 2.4.5	安裝 SPARK	下載 SPARK	安裝 SPARK
sbt 1.3.8	安裝 SBT	下載 SBT（更多版本）	安裝 SBT
maven 3.6.3	安裝 MAVEN	下載 MAVEN	安裝 MAVEN
eclipse-scala	安裝 SCALA-IDE	下載 IDE	安裝 IDE

二、安裝過程提綱

2.1、安裝 ssh

稍後再寫。。

2.2、hadoop

2.2.1、core-site.xml

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

2.2.2、hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

2.3、hbase

2.3.1、hbase-env.sh

export HBASE_MANAGES_ZK=true
export JAVA_HOME=/usr/local/jdk1.8

2.3.2、hbase-site.xml

<configuration>
    <property>
        <name>hbase.wal.dir</name>
        <value>file:///tmp/wal.dir</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
</configuration>

2.4、spark

2.4.1、spark-env.sh

# The below line added by myself.
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

# To test the WARN
LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

# To test the WARN
SPARK_LOCAL_IP="192.168.11.136"

2.4.2、sbt 打包聲明文件

name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5"
libraryDependencies += "org.apache.hbase" % "hbase-client" % "1.1.5"
libraryDependencies += "org.apache.hbase" % "hbase-common" % "1.1.5"
libraryDependencies += "org.apache.hbase" % "hbase-server" % "1.1.5"

2.5、sbt

安裝 sbt 至少需要以下文件：

1、<安裝路徑>/sbt-launch.jar	# 啓動 jar 包
2、<安裝路徑>/sbt	# 啓動腳本
3、~/.sbt/repositories	#（可選，鏡像站加速）

2.5.1、新建 sbt 文件

1. /usr/local/sbt目錄下新建下面文件 sbt，
   並將 /usr/local/sbt/bin/ 目錄下的 sbt-launch.jar 拷貝到上一級路徑下。

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

2. 在<sbt安裝目錄>/conf/sbtconfig.txt文件中添加如下內容：

-Dsbt.override.build.repos=true

2.5.2、配置 sbt 國內鏡像源（可選）

在 ~/.sbt 路徑下新建 repositories 文件,
如配置華爲雲鏡像則寫入以下內容。

[repositories]
  local
  huaweicloud-ivy: https://mirrors.huaweicloud.com/repository/ivy/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
  huaweicloud-maven: https://mirrors.huaweicloud.com/repository/maven/

三、Enjoy！