1. 配置 java 環(huán)境

????Oracle 官網(wǎng)下載 jdk-8u221-linux-x64.gz 放到某個(gè)目錄，此處放在 /usr/lib/java 目錄

????創(chuàng)建 java 的目標(biāo)路徑文件夾：sudo mkdir /usr/lib/java

????解壓并命名 java 至創(chuàng)建的目錄：sudo tar -zxf jdk-8u221-linux-x64.gz /usr/lib/java

????配置環(huán)境變量：sudo vim ~/.bashrc

????添加以下代碼：

????修改完成后保存關(guān)閉，并輸入以下命令使環(huán)境變量生效：source /etc/environment

????配置所有用戶的環(huán)境變量：sudo vim /etc/profile

????添加以下代碼：

????同樣，讓環(huán)境變量生效：source /etc/profile

????查詢配置是否成功：java -version

2. SSH 安裝和配置

????密碼輸入空，記錄在 id_rsa.pub 文件

3.?Hadoop 下載安裝

? ? Hadoop 官網(wǎng)下載 hadoop-2.7.7.tar.gz 到 /usr/local/hadoop 目錄

????同樣創(chuàng)建目標(biāo)文件夾??

????解壓后命名放入該目錄??

????驗(yàn)證是否成功安裝：

hadoop 單擊配置（非分布式）

在此我們選擇運(yùn)行 grep 例子，將 input 文件夾中的所有文件作為輸入，篩選當(dāng)中符合正則表達(dá)式`dfs[a-z.]+`的單詞并統(tǒng)計(jì)出現(xiàn)的次數(shù)，最后輸出結(jié)果到 output 文件夾中。

注意，Hadoop 默認(rèn)不會(huì)覆蓋結(jié)果文件，因此再次運(yùn)行上面實(shí)例會(huì)提示出錯(cuò)，需要先將 output 文件夾刪除。

hadoop 偽分布式配置

修改配置文件：sudo vim ./etc/hadoop/core-site.xml

sudo vim ./etc/hadoop/hdfs-site.xml

修改 java 環(huán)境變量：sudo vi ./etc/hadoop/hadoop-env.sh

執(zhí)行 NameNode?的格式化：sudo ./bin/hdfs namenode -format

開(kāi)啟 NameNode?和 DataNode 守護(hù)進(jìn)程：sudo ./sbin/start-dfs.sh

啟動(dòng)完成后可以通過(guò)命令 jps 來(lái)判斷是否成功啟動(dòng)

關(guān)閉命令：sbin/stop-dfs.sh

可以打開(kāi) http://localhost:50070/ 查看 NameNode 和 DataNode?信息，還可以在線查看 HDFS 中的文件。

4. 問(wèn)題解決

開(kāi)啟守護(hù)進(jìn)程時(shí)一直出現(xiàn)密碼無(wú)效的情況：root@localhost's password:localhost:permission denied,please?try again

解決方法：

1. 安裝 open ssh：sudo apt-get install openssh-server

2. 修改 root 密碼：sudo passwd root

3. 修改配置文件，允許 root 用戶通過(guò) ssh 登陸：sudo vi /etc/ssh/sshd_config

找到：#PermitRootLogin prohibit-password，在其下面添加 PermitRootLogin yes

4.重啟服務(wù)：sudo service ssh restart

給 hadoop 配置環(huán)境變量：sudo vim /etc/bash.bashrc

在末尾添加：??

然后執(zhí)行 source 命令：source /etc/bash.bashrc

最后運(yùn)行 hadoop version 即可查看版本。