Hadoop教程：Hadoop企業(yè)級(jí)應(yīng)用新添重磅案例

---

當(dāng)下大數(shù)據(jù)之熱使得技術(shù)界對(duì)Hadoop的話題熱火朝天。但在日常工作中，企業(yè)往往還是遵循既有模式，對(duì)于Hadoop到底能否真正幫到企業(yè)的應(yīng)用依然心存顧慮。Hadoop是不是很年輕？這個(gè)開源的事物能否符合公司業(yè)務(wù)級(jí)的嚴(yán)謹(jǐn)要求？有沒(méi)有企業(yè)真的應(yīng)用過(guò)？一系列問(wèn)題縈繞人們心頭。這可以理解，畢竟任何一個(gè)新生事物出來(lái)都要有一個(gè)接受過(guò)程 。

對(duì)于Hadoop，其實(shí)這些都不是問(wèn)題。專業(yè)人士都知道，Hadoop到現(xiàn)在已有15個(gè)年頭，這對(duì)于一個(gè)實(shí)用技術(shù)的穩(wěn)定發(fā)展已足夠長(zhǎng)久。 事實(shí)上，雖然“大數(shù)據(jù)”一詞才出來(lái)二三年，但它實(shí)際指稱的海量的、多類型的數(shù)據(jù)現(xiàn)象早就有了，不但在互聯(lián)網(wǎng)領(lǐng)域，更在工業(yè)、商業(yè)、通信、金融、傳媒等存在久遠(yuǎn)。比如，生產(chǎn)線上巨量傳感器數(shù)據(jù)的接收分析、通信系統(tǒng)全程全網(wǎng)的實(shí)時(shí)日志文件采集與分析、醫(yī)療系統(tǒng)密集數(shù)據(jù)采集與分析從而幫助快速的科學(xué)診斷……所有這些都需要新型的數(shù)據(jù)處理技術(shù)來(lái)支撐。Hadoop在這些領(lǐng)域突顯了強(qiáng)大競(jìng)爭(zhēng)力，并在國(guó)內(nèi)外的相關(guān)實(shí)踐中獲得廣泛應(yīng)用。

在Hadoop還是開源的時(shí)候， 眾多非 IT 型企業(yè)不具備自我開發(fā)條件，由此限制了Hadoop在企業(yè)里的普及。但隨著專注于企業(yè)級(jí)市場(chǎng)的Hadoop發(fā)行版的技術(shù)公司出現(xiàn)，這個(gè)問(wèn)題迎刃而解。從此， 各類型企業(yè)終于可以安心駕馭真正的企業(yè)化“大數(shù)據(jù)浪潮”了。

在中國(guó)，廣電系統(tǒng)正經(jīng)歷著數(shù)字化浪潮的沖擊，基于網(wǎng)絡(luò)化的影視播放給傳統(tǒng)廣電運(yùn)營(yíng)商很大挑戰(zhàn)。 在此背景下，廣電系統(tǒng)的生力軍華數(shù)傳媒敏銳地意識(shí)到，要想獲得未來(lái)網(wǎng)絡(luò)化傳媒的生存與競(jìng)爭(zhēng)優(yōu)勢(shì)，現(xiàn)在就必需向用戶傾斜，以適應(yīng)未來(lái)發(fā)展的數(shù)據(jù)基礎(chǔ)架構(gòu)為依托，才能打造“精準(zhǔn)型”廣電內(nèi)容及傳播運(yùn)營(yíng)商。

2013年，華數(shù)傳媒的大數(shù)據(jù)系統(tǒng)完成了從無(wú)到有的基礎(chǔ)建設(shè)，實(shí)現(xiàn)了基本應(yīng)用。然而，華數(shù)大數(shù)據(jù)仍面臨很多挑戰(zhàn)：數(shù)據(jù)量增加帶來(lái)的服務(wù)性能壓力、數(shù)據(jù)分析無(wú)法滿足高時(shí)效性業(yè)務(wù)、業(yè)務(wù)支撐功能無(wú)法滿足復(fù)雜的商用需求、對(duì)網(wǎng)絡(luò)和服務(wù)器質(zhì)量等數(shù)據(jù)分析仍為空白、等等。為此，華數(shù)傳媒亟需解決方案以解決如下幾個(gè)問(wèn)題：

1. 數(shù)據(jù)采集、存儲(chǔ)和轉(zhuǎn)發(fā)。通過(guò)大數(shù)據(jù)技術(shù)滿足海量、多來(lái)源、多樣性數(shù)據(jù)的存儲(chǔ)、管理要求，支持平臺(tái)硬件的線性擴(kuò)展，并提供快速實(shí)時(shí)的數(shù)據(jù)分析結(jié)果，并迅速作用于業(yè)務(wù)。

2. 個(gè)性化用戶推薦。不僅限于數(shù)據(jù)本身的分析和決策價(jià)值，通過(guò)構(gòu)建在大數(shù)據(jù)平臺(tái)之上整合業(yè)務(wù)能力，為用戶提供融合、個(gè)性化的內(nèi)容服務(wù)。

3. 從內(nèi)容傳輸?shù)絻?nèi)容制造。使用大數(shù)據(jù)挖掘技術(shù)提前先于觀眾知道他們需求，預(yù)知將受到追捧的電視。另外， 還可通過(guò)觀眾對(duì)演員、情節(jié)、基調(diào)、類型等元數(shù)據(jù)的標(biāo)簽化，來(lái)了解受眾偏好，從而進(jìn)行分析觀測(cè)，為后續(xù)的影視制作等內(nèi)容開發(fā)做好準(zhǔn)備。

作為眾多廣電運(yùn)營(yíng)商其中的重要一員，華數(shù)傳媒的這些需求，也是廣電運(yùn)營(yíng)商們的共同訴求。

針對(duì)華數(shù)傳媒的需要，國(guó)內(nèi)首家專業(yè)的企業(yè)級(jí)Hadoop發(fā)行版廠商星環(huán)科技給出了令人滿意的答卷。 星環(huán)科技基于自主研發(fā)的一站式Hadoop發(fā)行版Transwarp Data Hub (TDH)，綜合運(yùn)用了其中的TDH Hadoop、Inceptor分布式內(nèi)存引擎、Hyperbase實(shí)時(shí)數(shù)據(jù)庫(kù)等技術(shù)產(chǎn)品組件，為華數(shù)傳媒提供了如下的綜合方案：

數(shù)字電視分析系統(tǒng)

TDH平臺(tái)用以整合各個(gè)相關(guān)數(shù)據(jù)源數(shù)據(jù)，包括Portal、CA、CDN、SRM日志、用戶使用瀏覽信息、AAA、BOSS結(jié)構(gòu)化數(shù)據(jù)、用戶基本信息、消費(fèi)數(shù)據(jù)、用戶上網(wǎng)流量數(shù)據(jù)、網(wǎng)管數(shù)據(jù)等。通過(guò)TDH的快速分布式數(shù)據(jù)查詢引擎，實(shí)現(xiàn)海量數(shù)據(jù)的秒級(jí)查詢。為用戶提供智能推薦、實(shí)時(shí)榜單和新媒體指數(shù)分析。

1. 提供基于全量數(shù)據(jù)的實(shí)時(shí)榜單。以時(shí)間（小時(shí)/天/周）、用戶等維度，對(duì)點(diǎn)播節(jié)目、直播節(jié)目、節(jié)目類別、搜索關(guān)鍵詞等進(jìn)行排名分析、同比環(huán)比分析、趨勢(shì)分析等。地區(qū)風(fēng)向標(biāo)主要以城市和時(shí)間等維度分析點(diǎn)播排行、劇集排行、分類排行、熱搜排行及用戶數(shù)量的變化。另外，從時(shí)間、頻道、影片類型、劇集等維度，根據(jù)在看數(shù)量、新增數(shù)量、結(jié)束觀看數(shù)量、完整看完等分析用戶走向。

圖一：華數(shù)傳媒以企業(yè)級(jí)Hadoop發(fā)新版為基礎(chǔ)的大數(shù)據(jù)架構(gòu)

2. 新媒體指數(shù)分析。通過(guò)對(duì)用戶行為分析獲取很多的隱性指標(biāo)，從側(cè)面反映用戶對(duì)業(yè)務(wù)的認(rèn)可度、用戶的使用行為習(xí)慣等。在此基礎(chǔ)之上，TDH大數(shù)據(jù)分析可幫助華數(shù)傳媒構(gòu)建規(guī)范的指標(biāo)分析和衡量體系，為業(yè)務(wù)運(yùn)營(yíng)提供強(qiáng)有力的指導(dǎo)。

3.智能推薦。運(yùn)用星環(huán)科技大數(shù)據(jù)基礎(chǔ)架構(gòu)，通過(guò)對(duì)用戶行為數(shù)據(jù)的采集分析，進(jìn)行精準(zhǔn)畫像，使用智能推薦引擎，實(shí)現(xiàn)信息的個(gè)性化推薦（TV屏、手機(jī)、PC），個(gè)性化營(yíng)銷（個(gè)性化廣告、豐富產(chǎn)品組合、市場(chǎng)分析）。基于可持續(xù)擴(kuò)展和優(yōu)化智能推薦算法，以及大數(shù)據(jù)帶來(lái)的實(shí)時(shí)數(shù)據(jù)交互能力，為每一個(gè)用戶量身定做的推薦節(jié)目極大提高了產(chǎn)品的到達(dá)率，增強(qiáng)了用戶忠誠(chéng)度。

結(jié)語(yǔ)：

對(duì)于包括廣電運(yùn)營(yíng)商在內(nèi)的眾多企業(yè)而言，精細(xì)化的用戶需求掌控是未來(lái)發(fā)展不可變更的趨勢(shì)。在此，Hadoop發(fā)行版系統(tǒng)再次證明了其業(yè)務(wù)價(jià)值，這是傳統(tǒng)數(shù)據(jù)管理系統(tǒng)力所不能及的。星環(huán)科技是國(guó)內(nèi)鮮有的掌握企業(yè)級(jí)Hadoop和Spark核心技術(shù)的高科技創(chuàng)業(yè)公司，在電信、金融、交通、政府等領(lǐng)域的落地應(yīng)用擁有豐富經(jīng)驗(yàn)。相信通過(guò)類似星環(huán)科技的Hadoop發(fā)行版系統(tǒng)，企業(yè)級(jí)大數(shù)據(jù)應(yīng)用將更能順應(yīng)業(yè)務(wù)發(fā)展要求，企業(yè)也可更從容面對(duì)市場(chǎng)競(jìng)爭(zhēng)。

原文鏈接：//internet.chinaitlab.com/news/967120.html