什么是數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)是信息（對(duì)其進(jìn)行分析可做出更明智的決策）的中央存儲(chǔ)庫(kù)。通常，數(shù)據(jù)定期從事務(wù)系統(tǒng)、關(guān)系數(shù)據(jù)庫(kù)和其他來(lái)源流入數(shù)據(jù)倉(cāng)庫(kù)。業(yè)務(wù)分析師、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和決策者通過商業(yè)智能（BI）工具、SQL 客戶端和其他分析應(yīng)用程序訪問數(shù)據(jù)。

數(shù)據(jù)和分析已然成為各大企業(yè)保持競(jìng)爭(zhēng)力所不可或缺的部分。企業(yè)用戶依靠報(bào)告、控制面板和分析工具從其數(shù)據(jù)中獲得洞察力、監(jiān)控企業(yè)績(jī)效以及更明智地決策。數(shù)據(jù)倉(cāng)庫(kù)通過高效地存儲(chǔ)數(shù)據(jù)以便最大限度地減少數(shù)據(jù)輸入和輸出（I/O），并快速地同時(shí)向成千上萬(wàn)的用戶提供查詢結(jié)果，為這些報(bào)告、控制面板和分析工具 由數(shù)據(jù)倉(cāng)庫(kù)提供支持。

如何架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)包含多個(gè)層。頂層是通過報(bào)告、分析和數(shù)據(jù)挖掘工具呈現(xiàn)結(jié)果的前端客戶端。中間層包括用于訪問和分析數(shù)據(jù)的分析引擎。架構(gòu)的底層是加載和存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)服務(wù)器。數(shù)據(jù)使用兩種不同類型的方式存儲(chǔ)：1）經(jīng)常訪問的數(shù)據(jù)存儲(chǔ)在最快的存儲(chǔ)裝置中（例如，SSD 驅(qū)動(dòng)器），2）不經(jīng)常訪問的數(shù)據(jù)存儲(chǔ)在便宜的對(duì)象存儲(chǔ)區(qū)中，數(shù)據(jù)倉(cāng)庫(kù)將自動(dòng)確保經(jīng)常訪問的數(shù)據(jù)被移進(jìn)“快速”存儲(chǔ)以便優(yōu)化查詢速度。

ETL的作用

數(shù)據(jù)倉(cāng)庫(kù)接收的數(shù)據(jù)源是不同的，要做到有效集成，需要抽取、轉(zhuǎn)換、加載三個(gè)步驟，也就是ETL（Extract-Transform-Load）。

• Extract：數(shù)據(jù)抽取，就是把數(shù)據(jù)從數(shù)據(jù)源讀出來(lái)
• Transform：數(shù)據(jù)轉(zhuǎn)換，就是把數(shù)據(jù)轉(zhuǎn)換為特定的格式
• Load：數(shù)據(jù)加載，把處理后的數(shù)據(jù)加載到目標(biāo)處。

使用數(shù)據(jù)倉(cāng)庫(kù)有哪些優(yōu)勢(shì)

數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì)包括：

• 知情地做出決定
• 整合多個(gè)來(lái)源的數(shù)據(jù)
• 歷史數(shù)據(jù)分析
• 數(shù)據(jù)質(zhì)量高、一致且準(zhǔn)確
• 將分析處理從事務(wù)數(shù)據(jù)庫(kù)中分離出來(lái)，從而提高兩個(gè)系統(tǒng)的性能

數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)庫(kù)和數(shù)據(jù)湖如何一起工作

通常，企業(yè)使用數(shù)據(jù)庫(kù)、數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的組合來(lái)存儲(chǔ)和分析數(shù)據(jù)。

 數(shù)據(jù)倉(cāng)庫(kù)是專門為數(shù)據(jù)分析設(shè)計(jì)的，涉及讀取大量數(shù)據(jù)以了解數(shù)據(jù)之間的關(guān)系和趨勢(shì)。數(shù)據(jù)庫(kù)用于捕獲和存儲(chǔ)數(shù)據(jù)，例如記錄事務(wù)的詳細(xì)信息。

與數(shù)據(jù)倉(cāng)庫(kù)不同，數(shù)據(jù)湖是所有數(shù)據(jù)（包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）的中央存儲(chǔ)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)要求數(shù)據(jù)使用表格形式進(jìn)行整理，Schema 通過它發(fā)揮作用。需要采用表格形式以便使用 SQL 來(lái)查詢數(shù)據(jù)。但是，并非所有應(yīng)用程序都要求數(shù)據(jù)為表格形式。有些應(yīng)用程序，例如大數(shù)據(jù)分析、完整文本搜索和機(jī)器學(xué)習(xí)，即使是對(duì)于“半結(jié)構(gòu)化”或完全非結(jié)構(gòu)化的數(shù)據(jù)，也能夠進(jìn)行訪問。

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖的對(duì)比

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的對(duì)比

數(shù)據(jù)集市與數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)集市是一種數(shù)據(jù)倉(cāng)庫(kù)，用于滿足特定團(tuán)隊(duì)或業(yè)務(wù)部門（例如財(cái)務(wù)、營(yíng)銷或銷售）的需求。它更小、更集中，并且可能包含最適合其用戶社區(qū)的數(shù)據(jù)匯總。數(shù)據(jù)集市也可以是數(shù)據(jù)倉(cāng)庫(kù)的一部分。

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市的對(duì)比

主流的數(shù)據(jù)倉(cāng)庫(kù)

國(guó)內(nèi)最常用的是一款基于Hadoop的開源數(shù)據(jù)倉(cāng)庫(kù)，名為Hive，它可以對(duì)存儲(chǔ)在HDFS的文件數(shù)據(jù)進(jìn)行查詢、分析。

Hive對(duì)外可以提供HiveQL，這是類似于SQL語(yǔ)言的一種查詢語(yǔ)言。在查詢時(shí)可以將HiveQL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)，在Hadoop層進(jìn)行執(zhí)行。

Hive的最大優(yōu)勢(shì)在于免費(fèi)，那其他知名的商業(yè)數(shù)據(jù)倉(cāng)庫(kù)有那些呢？比如Oracle，DB2，Teradata。這里就不多加贅述，感興趣的朋友可以，或在文章下方留言共同交流。

關(guān)于慧都數(shù)倉(cāng)建模大師

跨行業(yè)數(shù)據(jù)挖掘流程

基于企業(yè)的業(yè)務(wù)目標(biāo)，進(jìn)行數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模，最后進(jìn)行評(píng)價(jià)和部署，真正實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)決策。更多詳情，請(qǐng)。