Hadoop教程：Hadoop數據傳輸工具Sqoop

---

ApacheSqoop（SQL-to-Hadoop）項目旨在協助RDBMS與Hadoop之間進行高效的大數據交流。用戶可以在Sqoop的幫助下，輕松地把關系型數據庫的數據導入到Hadoop與其相關的系統(如HBase和Hive)中；同時也可以把數據從Hadoop系統里抽取并導出到關系型數據庫里。除了這些主要的功能外，Sqoop也提供了一些諸如查看數據庫表等實用的小工具。理論上，Sqoop支持任何一款支持JDBC規范的數據庫，如DB2、MySQL等。Sqoop還能夠將DB2數據庫的數據導入到HDFS上，并保存為多種文件類型。常見的有定界文本類型，Avro二進制類型以及SequenceFiles類型。在本文里，統一用定界文本類型。

Sqoop中一大亮點就是可以通過hadoop的mapreduce把數據從關系型數據庫中導入數據到HDFS。Sqoop架構非常簡單，其整合了Hive、Hbase和Oozie，通過map-reduce任務來傳輸數據，從而提供并發特性和容錯。

Sqoop在import時，需要制定split-by參數。Sqoop根據不同的split-by參數值來進行切分,然后將切分出來的區域分配到不同map中。每個map中再處理數據庫中獲取的一行一行的值，寫入到HDFS中。同時split-by根據不同的參數類型有不同的切分方法，如比較簡單的int型，Sqoop會取最大和最小split-by字段值，然后根據傳入的num-mappers來確定劃分幾個區域。比如selectmax(split_by),min(split-by)from得到的max(split-by)和min(split-by)分別為1000和1，而num-mappers為2的話，則會分成兩個區域(1,500)和(501-100),同時也會分成2個sql給2個map去進行導入操作，分別為selectXXXfromtablewheresplit-by>=1andsplit-by<500和selectXXXfromtablewheresplit-by>=501andsplit-by<=1000。最后每個map各自獲取各自SQL中的數據進行導入工作。

Sqoop大概流程

1. 讀取要導入數據的表結構，生成運行類，默認是QueryResult，打成jar包，然后提交給Hadoop
2. 設置好job，主要也就是設置好以上第六章中的各個參數
3. 這里就由Hadoop來執行MapReduce來執行Import命令

1)  首先要對數據進行切分，也就是DataSplit，DataDrivenDBInputFormat.getSplits(JobContext job)

2)  切分好范圍后，寫入范圍，以便讀取DataDrivenDBInputFormat.write(DataOutput output)，這里是lowerBoundQuery and upperBoundQuery

3)  讀取以上2）寫入的范圍DataDrivenDBInputFormat.readFields(DataInput input)

4)  然后創建RecordReader從數據庫中讀取數據DataDrivenDBInputFormat.createRecordReader(InputSplit split,TaskAttemptContext context)

5)  創建MAP，MapTextImportMapper.setup(Context context)

6)  RecordReader一行一行從關系型數據庫中讀取數據，設置好Map的Key和Value，交給MapDBRecordReader.nextKeyValue()

7)  運行MAP，mapTextImportMapper.map(LongWritable key, SqoopRecord val, Context context),最后生成的Key是行數據，由QueryResult生成，Value是NullWritable.get()

Sqoop1和Sqoop 2架構的變遷

首先這兩個版本是完全不兼容的，其具體的版本號區別為1.4.x為sqoop1，1.99x為sqoop2。sqoop1和sqoop2在架構和用法上已經完全不同。在架構上，sqoop1僅僅使用一個sqoop客戶端，sqoop2引入了sqoopserver，對connector實現了集中的管理。其訪問方式也變得多樣化了，其可以通過RESTAPI、JAVAAPI、WEBUI以及CLI控制臺方式進行訪問。另外，其在安全性能方面也有一定的改善，在sqoop1中我們經常用腳本的方式將HDFS中的數據導入到mysql中，或者反過來將mysql數據導入到HDFS中，其中在腳本里邊都要顯示指定mysql數據庫的用戶名和密碼的，安全性做的不是太完善。在sqoop2中，如果是通過CLI方式訪問的話，會有一個交互過程界面，你輸入的密碼信息不被看到，同時Sqoop2引入基于角色的安全機制。下圖是sqoop1和sqoop2簡單架構對比：

Sqoop1架構圖：

Sqoop2架構圖：

• sqoop1優點：架構部署簡單
• sqoop1缺點：命令行方式容易出錯，格式緊耦合，無法支持所有數據類型，安全機制不夠完善，例如密碼暴漏， 安裝需要root權限，connector必須符合JDBC模型
• sqoop2優點：多種交互方式，命令行，web UI，rest API，conncetor集中化管理，所有的鏈接安裝在sqoop server上，完善權限管理機制，connector規范化，僅僅負責數據的讀寫
• sqoop2缺點：架構稍復雜，配置部署更繁瑣

來源：中國大數據