數據流是每個現代企業不可或缺的一部分。無論是將數據從一個操作系統遷移到另一個操作系統來為業務流程提供動力，還是為中央數據倉庫提供最新數據以近乎實時地報告，沒有它們的生活將充滿人工，繁瑣且容易出錯的數據修改和復制任務。

Cloudera也正在幫助客戶使用Apache NiFi（Cloudera DataFlow的核心組件）在本地和公共云中實現數據流。盡管數百名客戶成功使用Apache NiFi來支持關鍵任務和大規模數據流，但對企業數據流解決方案的期望卻在不斷發展。在這篇文章中，就想像大家分享有關2021年數據流的三大要求。

數據量激增–幾分鐘之內就需要自動擴展

隨著企業越來越多地轉向實時數據移動而不是每小時/每天批量處理，數據突發變得更加可見并且難以預測，主要是由于以下兩個原因：

• 每小時/每天的批處理窗口被刪除后，將沒有任何東西可以匯總并平均出低點和高峰。 如果有一個持續五分鐘的數據突發，然后又是一個穩定的五分鐘，那么數據流系統必須在兩個周期內都提供預期的性能，而又不浪費資源。 每小時提取數據的批處理系統將平均這些突發

• 轉向實時數據流是將新的流數據源連接到數據生命周期的機會，這不適合以前的批處理模型。 盡管這些新來源增加了數據流系統必須處理的數據量，但更多時候，這些來源正在通過不可靠的網絡連接發送數據，而每個網絡中斷都會導致其自身的數據突發。

為了成功地包含流數據，企業（尤其是在公共云環境中）需要平衡高性能數據處理需求和相關的計算成本。達到這種平衡的最佳方法是使用具有內置成本控制功能的自動擴展服務。

自助服務為王–數據流目錄的需求

盡管無代碼的圖形化工具（如Apache NiFi）使非編碼人員更容易訪問構建數據流，但是大多數數據流仍由專門負責數據集成的專業團隊構建。隨著數據流的發展和業務線（LoB）團隊希望更快地訪問數據的渴望，這些集中化的團隊正努力跟上業務用戶想要實現的不斷增長的數據流列表。

數據流遵循80/20規則。盡管80％的數據流涵蓋相同的用例和模式，但只有20％的復雜度足以要求深入了解數據流產品以從頭開始對其進行自定義。如果專業數據集成團隊可以專注于20％，而LoB用戶將能夠從經過審查和測試的存儲庫中選擇和調整流模板，該怎么辦？提供開箱即用的數據流模板的自助服務目錄為LoB用戶提供了支持新業務計劃所需的速度和敏捷性，而數據流開發人員現在可以真正專注于實施具有挑戰性的所有數據流的20％。

隨時隨地進行部署–需要集中監控

多云正在成為我們許多客戶的現實。多云并不一定意味著在公共云提供商之間實現并組合了一個單一的用例，而是不同的業務部門根據他們的需求選擇了公共云提供商。

盡管每個云提供商都提供用于構建連接系統和應用程序的數據流的產品，但是每個云提供商都基于完全不同的技術，要求數據集成團隊學習所有這些技術。即使團隊設法使用不同的技術來實現數據流，也根本缺少用于監視“生產流”的一致方法。現在，集成團隊甚至必須學習專用的監視工具以及如何將每個公共云服務與它們集成。

為了在使用多個公共云提供商的環境中保持生產力，集成團隊需要一個在所有主要公共云上運行的數據流系統，并提供對所有數據流的集中監控-無論它們是在AWS，Azure還是GCP上運行。

關于Cloudera

在 Cloudera，我們相信數據可以使今天的不可能，在明天成為可能。我們使人們能夠將復雜的數據轉換為清晰而可行的洞察力。Cloudera 為任何地方的任何數據從邊緣到人工智能提供企業數據云平臺服務。在開源社區不懈創新的支持下， Cloudera推動了全球最大型企業的數字化轉型歷程。了解更多，請聯系。

慧都大數據專業團隊為企業提供Cloudera大數據平臺搭建，免費業務咨詢，定制開發等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。