Hadoop學習之旅一：Hello Hadoop

---

開篇概述

隨著計算機網(wǎng)絡基礎設施的完善，社交網(wǎng)絡和電商的發(fā)展以及物連網(wǎng)的推進，產(chǎn)生了越來越多的，使得人工智能最近幾年也有了長足的發(fā)展(可供機器學習的樣本數(shù)據(jù)量足夠大了)，的存儲和處理也越來越重要，國家對此也比較重視(可上網(wǎng)搜索關鍵字“大數(shù)據(jù)白皮書”關鍵字，以了解詳細情況)，會長決定和年輕人也一塊兒學習一下，于是報了網(wǎng)易云課堂的課程，不定時將學習到的東西整理為博客，此乃開篇。

學習大數(shù)據(jù)必先學習，因為它是目前世界上最流行的分布式數(shù)據(jù)處理框架。

Tips：所謂，是指數(shù)據(jù)量龐大、產(chǎn)生數(shù)度快、結(jié)構(gòu)多樣的價值密度低的數(shù)據(jù)。其中，數(shù)據(jù)量龐大是指數(shù)據(jù)規(guī)模超出了1,2臺高性能主機所能處理范圍;結(jié)構(gòu)多樣性是指除了關系型數(shù)據(jù)庫能夠處理的結(jié)構(gòu)化數(shù)據(jù)還包含半結(jié)構(gòu)化數(shù)據(jù)(如各類傳感設備必如地鎊、衛(wèi)星、GPS設備等產(chǎn)生的純文本格式的數(shù)據(jù)，還有良心網(wǎng)站NASA官網(wǎng)公布的txt格式的空間天氣數(shù)據(jù)等成行成列的數(shù)據(jù))和非結(jié)構(gòu)化數(shù)據(jù)(視頻、圖像等)。這些數(shù)據(jù)的價值密度普遍較低(和具體的應用范圍也有關系，比如NASA的數(shù)據(jù)，如果想知道某天的太陽射電情況，看當天發(fā)布的txt就好了，價值密度很高，但是這就不算大數(shù)據(jù)了，因為需要采集的數(shù)據(jù)量很小;如果想知道過去N年太陽射電的極值就需要處理很多數(shù)據(jù)，這些數(shù)據(jù)的價值密度就低了)，大數(shù)據(jù)處理的目的就是從價值密度的數(shù)據(jù)里把有價值的數(shù)據(jù)過濾分析出來。

Hadoop概述

Hadoop是一個用于分布式大數(shù)據(jù)處理的編程框架。同時它也是個大數(shù)據(jù)處理完整的生態(tài)系統(tǒng)，圍繞著Hadoop，這個生態(tài)系統(tǒng)還包括但不限于：

HBase

Hive

Pig

Spark

ZooKeeper

希望本系列的寫作能夠堅持下去，對上述內(nèi)容都有所涉及吧。

Hadoop能干什么

假設老王在某不知名IT公司工作，由于最近太陽活動異常，引起了領導的外甥的讀碩士的同學的關注，領導讓老王把山西鐵島太陽射電望遠鏡觀測到的近30年的太陽射電數(shù)據(jù)下載下來，讓老王從里面找到最高的記錄。老王畢竟搞挨踢已有多年，雖然技術不行，終日碌碌無為，但多年的直覺告訴老王這個很簡單。老王立刻下載了其中一個文件并大致看了文件的機構(gòu)：數(shù)據(jù)保存在txt文件里，每行N列，其中包含了時間和數(shù)據(jù)信息列，大約每0.1s記錄一條數(shù)據(jù)，一個文件記錄15分鐘的數(shù)據(jù)，大約有9000條記錄，1個小時4個文件，1天96個文件，30年大約1051200個文件，一共大約100億條數(shù)據(jù)，這其中還有一些損壞的文件，還有一些用9999表示的未檢測到值的占位數(shù)據(jù)需要特殊照顧。

老王覺得單機處理這些數(shù)據(jù)耗時太久，于是老王找來一些公司淘汰下來的舊服務器(一般小公司最破的機器都是服務器)，準備每個機器負責一部分，最后把結(jié)果匯總，老王在開發(fā)的過程中還是遇到了很多問題，比如，如何分配任務，有的機器破，有的機器新，還有的文件大，有的文件小，總是不能保證所有的任務一起完成，先完成任務的機器閑置浪費掉了資源;還有最后把結(jié)果通過網(wǎng)絡通信匯總起來，如何保證數(shù)據(jù)不丟失，不覆蓋;還有如果某臺機器出了問題，如何重新分配任務，這些非核心業(yè)務的開發(fā)使得老王心力憔悴，還好，老王最后找到了Hadoop這個工具，這個工具給老王提供了一個簡單的編程模型，老王在map方法中寫了分配的任務的邏輯，在reduce方法中寫了合并結(jié)果的邏輯，然后Hadoop幫老王完成了其他所有事情，Hadoop就是干這個的。以上故事純屬虛構(gòu)，如有雷同，實屬巧合。

其實上述意淫的例子里的數(shù)據(jù)量不是很大，如果每天產(chǎn)生上TB級別的數(shù)據(jù)，就算是速度很快的固態(tài)硬盤也需要小時級時間才能讀取一遍，速度還是遠遠跟不上，終歸有上限，而且高性能主機價格不菲，不如把數(shù)據(jù)分開放到一個相對廉價又可擴展的計算機集群中，每個節(jié)點上運行一段程序并處理一小塊數(shù)據(jù)，然后在匯總處理結(jié)果，使用Hadoop可以讓開發(fā)者不必把精力放在集群的建設上，采用Hadoop提供的簡單的編程模型就可以實現(xiàn)分布式處理。

Hadoop的構(gòu)造模塊

Hadoop集群中運行的守護進程共有5類：

NameNode

DataNode

Secondary NameNode

JobTracker

TaskTracker

Hadoop集群中的機器(節(jié)點)分為2類：主節(jié)點和從節(jié)點，NameNode、JobTracker所在節(jié)點為主節(jié)點(負責管理)，DataNode和TaskTracker所在節(jié)點為從節(jié)點(負責干活兒)。

NameNode

NameNode節(jié)點負責將一個文件分成若干文件塊，并記錄了HDFS文件系統(tǒng)中的文件塊放了在哪些DataNode中(一個數(shù)據(jù)塊被冗余地放到1個或多個DataNode節(jié)點中)，一個集群中只有一個NameNode節(jié)點(Hadoop2.X中情況有所不同了)，且該節(jié)點通常不再運行DataNode和TaskTracker守護進程。

DataNode

DataNode實際管理很多NameNode分配給它的很多數(shù)據(jù)塊，當有文件塊變動時會通知NameNode，同時也從NameNode接受指令。一個集群中有多個DataNode節(jié)點，DataNode之間也會保持聯(lián)系，復制冗余文件塊，這樣當一個DataNode出現(xiàn)故障后不會影響到文件的完整性。

Secondary NameNode

SNN只與NameNode通信，定時獲取HDFS元數(shù)據(jù)的快照，一個集群只有一個SNN，且SNN所在節(jié)點只運行SNN守護進程，不干其它的事情。當NameNode出現(xiàn)故障后，可以人工啟用SNN作為NameNode。

JobTracker

JobTracker負責分配MapReduce任務給TaskTracker，負責監(jiān)控任務的執(zhí)行，如任務失敗后重啟任務。JobTracker守護進程運行在主節(jié)點上，通常該節(jié)點不運行DataNode和TaskTracker守護進程。

TaskTracker

TaskTracker負責完成JobTracker分配的任務并和JobTranker進行通信，回報情況。TaskTracker守護進程運行在多個子節(jié)點上

看圖說話

上圖中，NameNode和JobTracker是分開的，如果集群規(guī)模不大也可以運行在同一個節(jié)點上(如果這個節(jié)點出現(xiàn)故障該如何恢復?)

安裝Hadoop

在安裝Hadoop之前需要先安裝如下軟件：

JDK

ssh

sshd

ssh-kengen

我用的是Ubuntu16.04,已經(jīng)預裝了ssh和ssh-kengen了，只需要安裝jdk和sshd，可以通過執(zhí)行命令which命令來檢查是否安裝了某軟件，如which sshd安裝JDK8

下載壓縮包解壓即可：

sudo mkdir /usr/local/lib/jvm
 sudo tar -zxv -f ~/setupFiles/jdk-8u101-linux-x64.tar.gz -C /usr/local/lib/jvm

配置環(huán)境變量：

修改 /etc/profile文件，追加：

export JAVA_HOME=/usr/local/lib/jvm/jdk1.8.0_101 export PATH=$JAVA_HOME/bin:$PATH

配置完畢后執(zhí)行命令source /etc/profile，此刻通過echo $JAVA_HOME應該能看到剛才設置的了。

安裝sshd

sudo apt install openssh-server

安裝完了sshd后應該可以通過ssh lcoalhost命令遠程訪問了，但是需要輸入密碼，Hadoop集群節(jié)點間要進行通信需要配置為無密碼登錄方式。

無密碼ssh登錄設置

執(zhí)行如下命令：

ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 0600 ~/.ssh/authorized_keys

其中，執(zhí)行ssh-keygen命令時一路回車不要輸入密碼，執(zhí)行完畢后會在/home/userName/.ssh路徑下生成公鑰和私鑰id_rsa和id_rsa.pub。如果一切順利的話，現(xiàn)在可以通過ssh localhost無密碼登錄了

安裝Hadoop

我下載的是1.0.4版本(2.X版本和1.X版本有著很大的差別，還是先學會1.X再看2.X吧，我們的課程也是以1.X為例的，事實上我剛才下的2.X，發(fā)現(xiàn)很多東西不懂，又退回1.X了，:-))，先把下載下來的壓縮包解壓到~/wiley/hadoop(其實最好放按照Linux的習慣放到/usr/local下，然后把hadoop目錄及里面的文件所屬用戶和所屬組改成當前用戶和當前用戶所屬組)

解壓后配置文件conf/hadoop-env.sh文件中的JAVA_HOME,反注釋如下行

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun，并且設置為相應的Java所在路徑。

Hadoop可以在三種模式下工作：

單節(jié)點模式

偽分布式模式

分布式模式

工作環(huán)境下是分布式模式，開發(fā)環(huán)境下可以使用單節(jié)點模式或偽分布式模式，方便調(diào)試。解壓后不做配置就是單節(jié)點模式，而偽分布式模式意思是指集群中的各個節(jié)點實際配置為同一臺機器。下面的步驟用來配置偽分布式模式：

配置conf/core-site.xml

配置conf/hdfs-site.xml

配置conf/mapred-site.xml

啟動Hadoop

在啟動之前先格式和HDFS文件系統(tǒng)：

cd ~/wiley/hadoop/bin ./hadoop namenode -format
 然后啟動Hadoop：./start-all.sh,如果一切順利的話用jps命令查看會有5個進程(不包括jps本身)：

此時可以打開兩個基于Web的界面

//localhost:50070 ：HDFS的狀態(tài)
//localhost:50030 ：MapReduce作業(yè)運行狀態(tài)

運行例子WordCount

文章的最后運行一個簡單的MapReduceJob:單詞統(tǒng)計。Hadoop中已經(jīng)附有一些實例Java代碼，放在了hadoop/src/examples/org/apache/hadoop/examples，其中一個叫做WordCount.java，是用來統(tǒng)計文件中單詞數(shù)量的，代碼很簡單的，大家可以去看看。此處先運行一下這個例子感受一下，執(zhí)行如下命令

mkdir test

mkdir test/classes

mkdir test/src

cp src/examples/org/apache/hadoop/examples/WordCount.java test/src

生成jar文件：

javac -classpath hadoop-core-1.0.4.jar:lib/commons-cli-1.2.jar -d test/classes test/src/WordCount.java
jar -cvf test/WordCount.jar -C test/classes/ .

運行該程序需要兩個參數(shù)(可參考源碼文件)，一個是放置文本文件的input路徑，一個是輸出結(jié)果的output路徑，先在HDFS中創(chuàng)建之：

bin/hadoop dfs -mkdir input

在本地文件系統(tǒng)中創(chuàng)建一個文本文件test/f1.txt,寫入一句話：2b or not 2b is ff,把文件put到HDFS里：

bin/hadoop fs -put test/f1.txt /user/joey/input

激動人心的時刻到了：

bin/hadoop jar test/WordCount.jar org.apache.hadoop.examples.WordCount input output

由于input和output位于/user/joey下面，而/user/joey是默認的工作目錄，所有直接寫input和output，不用在前面加/user/joey/。現(xiàn)在看看運行結(jié)果：

詳情請咨詢！

客服熱線：023-66090381