實時計算實踐:快速分析實時數據的解決方案

在過去幾年裏,實時計算的受歡迎程度呈爆炸式增長。這源於互聯網、物聯網、人工智能技術的高速發展,以及國家政策層面的大力支持。然而,在企業層面上,實時計算這種技術仍難以得到有效應用。究其原因,主要在於技術門檻高,開發、運維成本難以控制,缺乏成熟的產品化功能。

選擇一款合適的智能實時計算平臺可以更加靈活快速地實現業務分析,億信華辰的PetaBase-i就能解決。

實時分析的困境

越來越多的企業對於實時分析有着強烈的需求,需要更多的實時數據支撐更加敏捷的商業決策。但是,一些現實問題又阻礙了它們的實現。

數據來源廣,格式雜。通常一家機構的源數據除了來自於ERP系統、CRM系統等傳統業務系統外,還包括如設備日誌、網絡爬蟲、傳感器等其他外部應用。這些源端數據,類型、結構完全不同,整合難度大。

數據標準不統一,數據質量低。許多企業的信息化建設,或因頂層設計缺失,或因某些歷史原因等,致使冗餘數據過多,而有價值的數據存在於各個信息孤島之間,碎片化的信息阻礙了決策層透視全局。

數據計算時效性差。現在工業物聯網的數據量可以每天達到萬億。而大量的數據價值有限期非常短,因此企業需要實時分析並獲取可立即採取行動的商業見解。傳統的離線批處理(T+1)模式無法滿足需求。

解決方案

針對這些問題,億信華辰提供了一套端到端的解決方案。藉助PetaBase-i實時計算功能,幫助企業用戶不斷實踐、完善可落地的實時分析應用。PetaBase-i提供多種數據源快速接入及敏捷應用開發能力、可視化資源管理及運營監控服務,滿足客戶對海量數據的實時統計分析需求,幫助實現高效管理。

值得關注的是,PetaBase-i使用了億信華辰自主研發的實時流數據集成加工套件PB StreamCollector。它是一個側重數據集成、數據加工流程構建的實時流數據管理工具,旨在簡化構建、執行和操作企業數據流。

  • 用戶可以方便的接入不同的數據源,並且完成數據加工流程的構建。
  • 可視化的數據流構建設計器,並且能夠對運行態的數據應用進行監控。
  • 用戶幾乎不需要編寫代碼就可以輕鬆構建批處理和流式數據流。

應用場景

場景一:實時採集

1、廣泛的數據源支持,適用多樣化採集場景

PetaBase-i大大降低了實時數據接入的難度,廣泛的數據源支持使其能適應多樣化的採集場景。例如,在零售、金融行業,企業往往會使用rdbms來支撐前端OLTP聯機交易系統(CRM、ERP等),PetaBase-i提供了基於CDC機制的實時採集功能,可支持的rdbms類型包括:Oracle GoldenGate/LogMiner、MySQL Binary Log、PostgreSQL WAL、SQL Server Change Tracking等。它能基於日誌級/事務級/行級數據進行跟蹤並自動捕獲,通過簡單的配置來自定義捕獲策略,靈活設置被監控的對象(庫、表、用戶)和操作(增、刪、改)。

不僅是關係型數據庫,PetaBase-i亦可基於MongoDB等NoSQL數據庫的事務日誌進行採集,滿足那些延伸了互聯網業務的企業對新業態數據的實時分析需求。

2、豐富的通信協議接口 ,最大化地簡化採集作業

目前,工業物聯網建設如火如荼,工業設備互聯、工業數據採集和工業設備狀態監控與分析是企業建設的重點內容。在這其中,數據採集和監控分析是企業最關注的。而缺乏統一行業協議及網絡接入標準是阻礙企業實現實時採集的主要問題。

爲了解決這類問題,億信華辰在PetaBase-ir中集成了一系列通信協議接口以最大化地簡化採集作業,包括從MQTT、OPC UA、REST Service、SFTP/FTP/FTPS Client、WebSocket、TCP Server和UDP Source等網絡標準協議到Amazon S3、Azure、Google Cloud等雲存儲協議。

豐富的協議支持,使得用戶在對複雜場景採集時擁有更多、更靈活的選擇。如果端點設備使用了不被支持的協議,那麼我們需要使用物聯網網關先對協議進行轉換,從而讓它們能夠與PetaBase-i進行通信。

場景二:預警實時分析

在物聯網高速發展的大環境下,將實時內容轉變爲有用的分析,如車輛突發故障、車間設備停運等場景,是各企業關注的重中之重。而爲批量操作構建的傳統分析系統不適用於這樣的場景,它無法針對大規模數據進行處理流和近實時數據,做到諸如狀態告警、故障預測等實時分析。但是,PetaBase-i可以。

不同於傳統分析系統那樣批量處理數據項,實時分析系統是監聽通過某種協議發送信息的成千上萬,甚至百萬級的物聯網設備,當所有的信息涌入時,需要消息隊列來保證通信效率。當流數據通過消息隊列時,PetaBase-i會對其進行緩衝,然後使用自適應流處理服務(PB StreamProcessor)將實時轉換規則應用於數據,這樣就做到了爲實時內容轉爲實時分析。

總體來說,PetaBase-i最具特點的地方在於它的靈活性與易用性,你可以將它的價值擴展到各種敏捷分析場景和實時採集用例中去。

發佈了4 篇原創文章 · 獲贊 2 · 訪問量 4999
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章