網絡質量實時分析思路

通信網絡時時刻刻在產生著大量的事件，如信令、xDR等，產生速度可達幾十MB/s至幾十GB/s。要想實現大規模流數據的實時分析，傳統的IT系統已經無法支撐，因此，我們需要引入流計算平臺，如。利用流計算平臺高性能、分布式、可擴展等特點，高速產生和流動網絡事件能及時地獲取有業務價值的信息。流計算平臺在網絡質量實時分析中實現的關鍵業務包括：

• 全局實時KPI計算，如當前1分鐘和10分鐘內的MSC切換失敗次數和比例。
• 局部KPI監控與重點對象的關注，如VIP客戶通話失敗原因實時匯總。
• 大規模數據預處理，以便后續加載到數據倉庫或HDFS再進行離線批量處理。

整體思路如下圖所示。

信令數據直接從網絡設備引入到流計算平臺；然后由Streams應用程序按照業務規則，對信令數據進行實時的加工、計算、匯總等處理；最后將實時分析結果寫入至目標存儲，如數據庫、HDFS或實時展現工具。

網絡質量實時分析參考模型

無論采取哪種流計算技術，網絡事件的實時分析都可以分為三大部分：

• 數據實時注入或獲取
• 數據按業務規則實時分析
• 分析結果推送到目標端

下圖是網絡質量實時分析的參考模型。為了方便結合業務場景進行描述，參考模型用多個紅線框劃分功能模塊。

1. 數據實時注入

網絡設備所產生的數據通過TCP／FTP／本地文件等方式實時注入到Streams。由于數據源可能提供多種不同的數據格式，如二進制碼流、或CSV格式的文本，Streams接收到數據之后先進行解析，以便后續的處理。

2. VIP客戶業務質量實時分析

根據用戶靜態屬性（來源于數據庫或文件），過濾出高價值客戶，即VIP客戶。對于這類客戶的相關業務質量實時分析，有助于及時發現他們在使用通信網絡中遇到的問題，以便及時處理VIP客戶的投訴與對他們進行定制化的客戶關懷。

3. 全局網絡質量實時分析

利用所有網絡事件對全網的網絡質量進行實時分析，包括各項KPI的按不同的時間粒度進行統計，如1分鐘和10分鐘粒度的MSC內切換次數，通話失敗原因的匯總和排序等。

4. 實時分析結果入庫

將實時分析結果寫入數據庫，以便后續的查詢和展示。除了寫入數據庫的方式，Streams也支持將結果寫入文件、Kafka或TCP Socket等方式，亦可直接將結果推送給實時展示工具，如Excel Realtime Data。

5. 大規模數據預處理（實時ETL）

利用Streams的可定制業務邏輯及高性能處理能力的特點，實現網絡事件數據的實時ETL

6. 預處理后的大規模數據寫入HDFS

調研Streams提供的HDFS相關Toolkit，將經過預處理的網絡事件數據寫入至HDFS，一般后續進行離線分析。

在網絡質量實時分析中的價值

• 高性能：滿足大規模數據實時計算的要求。
• 高擴展性：分布式架構極易擴展，滿足日益增長的業務和計算能力要求。
• 易實現：針對流計算而設計的開發語言，內置大量的工具箱，結合基于圖形和拖拽的開發工具，極易實現流分析應用。
• 完善的管理功能：基于Web的一體化管理和監控工具。
• 成熟、穩定、可靠：10多年的應用歷程，業界最成熟、穩定、可靠的流計算產品。

via:華南IBM大數據支持團隊

詳情請咨詢“”！

客服熱線：023-66090381