與簡介

IBM SPSS Modeler（以下簡稱 Modeler）是一款專業成熟的數據挖掘分析軟件，其采用數據流的方式來展示數據挖掘的操作過程，并結合 CRISP-DM 工業標準打造了一個支持眾多數據挖掘操作的應用平臺。

為了順應 IBM 的大數據戰略方向，迎合大數據處理和分析日益增強的市場需求，Modeler 從15.0版本開始，整合了最新的大數據處理引擎 IBM SPSS Analytic Server（以下簡稱為 Analytic Server）1.0 版本，從而將 IBM 的數據挖掘能力擴展到大數據領域，實現了在分布式文件系統上來執行大數據分析。它將 IBM SPSS 現有的商業分析技術與大數據技術相結合，使得用戶能夠使用復雜的分析算法以高可伸縮的方式來解決基于大數據的分析問題。

最新版本于2015-9-30正式發布

2015-9-30,IBM 數據挖掘平臺SPSS Modeler V17.1版本和IBM SPSS Analytic Server 2.1正式發布，他們的協同工作，為客戶帶來兩大亮點：

• 增加能夠在Analytic Server上運行的分布式算法，以提高處理能力。
• 與Apache Spark的集成應用，在處理速度帶來2.5倍及以上的提升，通過引入Spark MLlib算法，也豐富了Modeler原有的算法。

下面針對這兩大亮點，分別做具體介紹。

亮點1：新增分布式算法

在 建模面板上，增加了相應的算法，這些算法支持分布式運算，即可以運行在Spark和傳統的Hadoop之下，如果用戶安裝了Spark， 會利用Spark機制進行優化，如果沒有安裝Spark, 跟之前通過hadoop的方法一致。這一亮點大大擴展了算法能力，提高處理性能。

最新版本里面，新增的算法節點包括有：

GLE 節點

特點：

• 新節點類似于現有 GenLin 和 GLMM 節點；
• 通過連接到 IBM SPSS Analytic Server 實現分布式計算，以提高處理能力；
• GLE 模型將識別通過指定的關聯函數與因子及協變量線性相關的因變量,而且，該模型還允許因變量為非正態分布；
• 它涵蓋了廣泛使用的統計模型，例如用于正態分布響應的線性回歸、用于二進制數據的 Logistic 模型、用于計數數據的對數線性模型等等。

適用范圍：

• 目標可以是二元、分類或數值；

Linear-AS 節點

特點：

• 新節點類似于現有線性節點，線性回歸是一種常見的統計方法，用于根據數字輸入字段的值對記錄進行分類。線性回歸擬合將預測輸出值與實際輸出值之間的差異最小化的直線或平面；
• 通過連接到 IBM SPSS Analytic Server 實現分布式計算，以提高處理能力；
• 生成數據挖掘模型標準格式PMML。

適用范圍：

• 目標必須是數值型；

LSVM 節點

具體實現步驟如下：

特點：

• 新節點類似于現有 SVM 節點，但其是線性的，更善于處理大量記錄；
• 通過連接到 IBM SPSS Analytic Server 實現分布式計算，以提高處理能力；

適用范圍：

• LSVM 特別適用于大型數據集，即具有大量預測變量字段的數據集。
• 目標可以是二元、分類或數值；
• 生成數據挖掘模型標準格式PMML。

Random Trees節點

特點：

• 新節點類似于現有 C&R樹(Classification and Regression Tree)節點，它可以構建包含多個決策樹的整體模型；
• 通過連接到 IBM SPSS Analytic Server 實現分布式計算，以提高處理能力；
• 準確度相對較高；
• 生成數據挖掘模型標準格式PMML。

適用范圍：

• 目標可以是二元、分類或數值；
• 對于不平衡的分類數據集來說，它可以平衡誤差(目標是二元的)；
• 處理大量的輸入變量。

Tree-AS 節點

特點：

• 新節點類似于現有 CHAID 節點，在此節點中，您可以選擇使用 CHAID 或 Exhaustive CHAID 模型來構建決策樹；
• 通過連接到 IBM SPSS Analytic Server 實現分布式計算，以提高處理能力；
• 生成數據挖掘模型標準格式PMML；
• 可生成SQL。

適用范圍：

• 目標可以是二元、分類或數值；

亮點2：與Apache Spark的集成

Spark最大的優勢在于速度，特別適合需要多次迭代的算法，因此在最新版本里面，提供了自定義對話框構建程序的 Python Spark 支持。

自定義對話框構建程序之前僅可與 R 配合使用，現在它還支持 Python for Spark，后者提供對Apache Spark 及其機器學習庫 (MLlib) 的訪問。例如，分析人員可以使用自定義對話框構建程序來創建使用 MLlib中的算法的建模節點，然后與其他人員共享該節點。

SPSS Modeler 17.1版本中，可通過Python語言引入以下所有的Spark MLlib算法：

集成舉例：SPSS + Spark + MLlib

以下流程圖實現了以下了SPSS Modeler、Spark與MLlib的集成

1.通過連接分布式文件系統，連接訓練數據集；

2.使用自定義對話框構建程序，通過Python實現導入MLlib算法Collaborative Filtering；

3.生成Collaborative Filtering模型；

4. 通過Analytic Server連接分布式文件系統，連接測試數據集；

5. 測試數據集直接連接生成的Collaborative Filtering模型，應用該模型規則進行預測分析；

6.將預測結果返回到分布式文件系統中。

集成優勢：整個數據分析處理過程都是在Spark環境下運行，充分利用內存運算提高性能。

試用版下載地址:

詳情請咨詢！

客服熱線：023-66090381