3. 預測系統核心介紹   

3.1 預測系統核心層技術選型

預測系統核心層技術主要分為四層：基礎層、框架層、工具層和算法層

基礎層： HDFS用來做數據存儲，Yarn用來做資源調度，BDP（Big Data Platform）是京東自己研發的大數據平臺，我們主要用它來做任務調度。

框架層： 以Spark RDD、Spark SQL、Hive為主， MapReduce程序占一小部分，是原先遺留下來的，目前正逐步替換成Spark RDD。 選擇Spark除了對性能的考慮外，還考慮了Spark程序開發的高效率、多語言特性以及對機器學習算法的支持。在Spark開發語言上我們選擇了Python，原因有以下三點：

• Python有很多不錯的機器學習算法包可以使用，比起Spark的MLlib，算法的準確度更高。我們用GBDT做過對比，發現xgboost比MLlib里面提供的提升樹模型預測準確度高出大概5%~10%。雖然直接使用Spark自帶的機器學習框架會節省我們的開發成本，但預測準確度對于我們來說至關重要，每提升1%的準確度，就可能會帶來成本的成倍降低。
• 我們的團隊中包括開發工程師和算法工程師，對于算法工程師而言他們更擅長使用Python進行數據分析，使用Java或Scala會有不小的學習成本。
• 對比其他語言，我們發現使用Python的開發效率是最高的，并且對于一個新人，學習Python比學習其他語言更加容易。

工具層： 一方面我們會結合自身業務有針對性的開發一些算法，另一方面我們會直接使用業界比較成熟的算法和模型，這些算法都封裝在第三方Python包中。我們比較常用的包有xgboost、numpy、pandas、sklearn、scipy和hyperopt等。

Xgboost：它是Gradient Boosting Machine的一個C++實現，xgboost最大的特點在于，它能夠自動利用CPU的多線程進行并行，同時在算法上加以改進提高了精度。

numpy：是Python的一種開源的數值計算擴展。這種工具可用來存儲和處理大型矩陣，比Python自身的嵌套列表結構要高效的多（該結構也可以用來表示矩陣）。

pandas：是基于NumPy 的一種工具，該工具是為了解決數據分析任務而創建的。Pandas 納入了大量庫和一些標準的數據模型，提供了高效地操作大型數據集所需的工具。

sklearn：是Python重要的機器學習庫，支持包括分類、回歸、降維和聚類四大機器學習算法。還包含了特征提取、數據處理和模型評估三大模塊。

scipy：是在NumPy庫的基礎上增加了眾多的數學、科學以及工程計算中常用的庫函數。例如線性代數、常微分方程數值求解、信號處理、圖像處理和稀疏矩陣等等。

算法層： 我們用到的算法模型非常多，原因是京東的商品品類齊全、業務復雜，需要根據不同的情況采用不同的算法模型。我們有一個獨立的系統來為算法模型與商品之間建立匹配關系，有些比較復雜的預測業務還需要使用多個模型。我們使用的算法總體上可以分為三類：時間序列、機器學習和結合業務開發的一些獨有的算法。

1. 機器學習算法主要包括GBDT、LASSO和RNN ：

GBDT：是一種迭代的決策樹算法，該算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。我們用它來預測高銷量，但歷史規律不明顯的商品。

RNN：這種網絡的內部狀態可以展示動態時序行為。不同于前饋神經網絡的是，RNN可以利用它內部的記憶來處理任意時序的輸入序列，這讓它可以更容易處理如時序預測、語音識別等。

LASSO：該方法是一種壓縮估計。它通過構造一個罰函數得到一個較為精煉的模型，使得它壓縮一些系數，同時設定一些系數為零。因此保留了子集收縮的優點，是一種處理具有復共線性數據的有偏估計。用來預測低銷量，歷史數據平穩的商品效果較好。

2. 時間序列主要包括ARIMA和Holt winters ：

ARIMA：全稱為自回歸積分滑動平均模型，于70年代初提出的一個著名時間序列預測方法，我們用它來主要預測類似庫房單量這種平穩的序列。

Holt winters：又稱三次指數平滑算法，也是一個經典的時間序列算法，我們用它來預測季節性和趨勢都很明顯的商品。

3. 結合業務開發的獨有算法包括WMAStockDT、SimilarityModel和NewProduct等：

WMAStockDT：庫存決策樹模型，用來預測受庫存狀態影響較大的商品。

SimilarityModel：相似品模型，使用指定的同類品數據來預測某商品未來銷量。

NewProduct：新品模型，顧名思義就是用來預測新品的銷量。   

3.2 預測系統核心流程

預測核心流程主要包括兩類：以機器學習算法為主的流程和以時間序列分析為主的流程。

1. 以機器學習算法為主的流程如下：

特征構建：通過數據分析、模型試驗確定主要特征，通過一系列任務生成標準格式的特征數據。

模型選擇：不同的商品有不同的特性，所以首先會根據商品的銷量高低、新品舊品、假節日敏感性等因素分配不同的算法模型。

特征選擇：對一批特征進行篩選過濾不需要的特征，不同類型的商品特征不同。

樣本分區：對訓練數據進行分組，分成多組樣本，真正訓練時針對每組樣本生成一個模型文件。一般是同類型商品被分成一組，比如按品類維度分組，這樣做是考慮并行化以及模型的準確性。

模型參數：選擇最優的模型參數，合適的參數將提高模型的準確度，因為需要對不同的參數組合分別進行模型訓練和預測，所以這一步是非常耗費資源。

模型訓練：待特征、模型、樣本都確定好后就可以進行模型訓練，訓練往往會耗費很長時間，訓練后會生成模型文件，存儲在HDFS中。

模型預測：讀取模型文件進行預測執行。

多模型擇優：為了提高預測準確度，我們可能會使用多個算法模型，當每個模型的預測結果輸出后系統會通過一些規則來選擇一個最優的預測結果。

預測值異常攔截：我們發現越是復雜且不易解釋的算法越容易出現極個別預測值異常偏高的情況，這種預測偏高無法結合歷史數據進行解釋，因此我們會通過一些規則將這些異常值攔截下來，并且用一個更加保守的數值代替。

模型評價：計算預測準確度，我們通常用使用mapd來作為評價指標。

誤差分析：通過分析預測準確度得出一個誤差在不同維度上的分布，以便給算法優化提供參考依據。

2. 以時間序列分析為主的預測流程如下：

3.3 Spark在預測核心層的應用

我們使用Spark SQL和Spark RDD相結合的方式來編寫程序，對于一般的數據處理，我們使用Spark的方式與其他無異，但是對于模型訓練、預測這些需要調用算法接口的邏輯就需要考慮一下并行化的問題了。我們平均一個訓練任務在一天處理的數據量大約在500G左右，雖然數據規模不是特別的龐大，但是Python算法包提供的算法都是單進程執行。我們計算過，如果使用一臺機器訓練全部品類數據需要一個星期的時間，這是無法接收的，所以我們需要借助Spark這種分布式并行計算框架來將計算分攤到多個節點上實現并行化處理。

我們實現的方法很簡單，首先需要在集群的每個節點上安裝所需的全部Python包，然后在編寫Spark程序時考慮通過某種規則將數據分區，比如按品類維度，通過groupByKey操作將數據重新分區，每一個分區是一個樣本集合并進行獨立的訓練，以此達到并行化。流程如下圖所示：

偽碼如下：

repartitionBy方法即設置一個重分區的邏輯返回(K,V)結構RDD，train方法是訓練數據，在train方法里面會調用Python算法包接口。saveAsPickleFile是Spark Python獨有的一個Action操作，支持將RDD保存成序列化后的sequnceFile格式的文件，在序列化過程中會以10個一批的方式進行處理，保存模型文件非常適合。

雖然原理簡單，但存在著一個難點，即以什么樣的規則進行分區，key應該如何設置。為了解決這個問題我們需要考慮幾個方面，第一就是哪些數據應該被聚合到一起進行訓練，第二就是如何避免數據傾斜。

針對第一個問題我們做了如下幾點考慮：

• 被分在一個分區的數據要有一定的相似性，這樣訓練的效果才會更好，比如按品類分區就是個典型例子。
• 分析商品的特性，根據特性的不同選擇不同的模型，例如高銷商品和低銷商品的預測模型是不一樣的，即使是同一模型使用的特征也可能不同，比如對促銷敏感的商品就需要更多與促銷相關特征，相同模型相同特征的商品應傾向于分在一個分區中。

針對第二個問題我們采用了如下的方式解決：

• 對于數據量過大的分區進行隨機抽樣選取。
• 對于數據量過大的分區還可以做二次拆分，比如圖書小說這個品類數據量明顯大于其他品類，于是就可以分析小說品類下的子品類數據量分布情況，并將子品類合并成新的幾個分區。
• 對于數據量過小這種情況則需要考慮進行幾個分區數據的合并處理。

總之對于后兩種處理方式可以單獨通過一個Spark任務定期運行，并將這種分區規則保存。

未完待續......