原创 DataPipeline 合夥人 & CPO 陳雷：企業實時數據管理問題與實踐 | 附PPT下載
陳雷 | DataPipeline 合夥人 & CPO，曾任 IBM 大中華區認知物聯網實驗室服務部首席數據科學家、資深顧問經理。十五年數據科學領域與金融領域經驗。綜合交通大數據應用技術國家工程實驗室產業創新部主任，中國電子學會區塊鏈專委
2021-01-30 09:13:01
原创 DataOps系列丨DataOps的組織架構與挑戰
作者：DataPipeline CEO 陳誠前兩週，我們分別探討了“數據的資產負債表與現狀”及“DataOps理念與設計原則”。接下來，本文會在前兩篇文章的基礎上繼續探討由DataOps設計原則衍生出的具體組織架構。讓數據快速從負債變成資產
2020-02-20 15:05:15
原创 下篇丨數據融合平臺DataPipeline的實際應用場景
在上週發佈的“上篇丨數據融合平臺DataPipeline的應用場景”一文中，我們分別從7個場景介紹了客戶在使用最新2.6版本中遇到的一些情況。接下來，本文將繼續爲大家呈現其它幾個應用場景。 一、對分庫分表場景的支持 場景說明 在同一個數
2020-02-20 15:05:15
原创 DataPipeline CTO陳肅：構建批流一體數據融合平臺的一致性語義保證
首先，本文將從數據融合角度，談一下DataPipeline對批流一體架構的看法，以及如何設計和使用一個基礎框架。其次，數據的一致性是進行數據融合時最基礎的問題。如果數據無法實現一致，即使同步再快，支持的功能再豐富，都沒有意義。另外，Data
2020-02-20 15:05:15
原创 最新2.7版本丨DataPipeline數據融合產品最新版本發佈
此次發佈的2.7版本在進一步優化產品底層數據處理邏輯的同時更加註重提升用戶在數據融合任務的日常管理、運行監控及資源分配等管理方面的功能增強與優化，力求幫助大家更爲直觀、便捷、穩定地管理數據融合任務，提升系統的易用性與穩定性。一、新增功能1.
2020-02-20 15:05:15
原创 DataPipeline丨「自定義」數據源，解決複雜請求邏輯外部數據獲取難題
A公司專注爲各種規模和複雜程度的金融投資機構提供一體化投資管理系統，系統主要由投資組合管理、交易執行管理、實時監控管理、風險管理等功能模塊構成。隨着企業管理產品數量的不斷增多，大量數據分散在各券商系統中且數據存儲格式各異，難以管理和利用。
2020-02-20 15:05:15
原创 DataPipeline數據融合重磅功能丨一對多實時分發、批量讀取模式
距離上個月的用戶體驗升級帖已經過去一個月了，在這一個月的時間裏，DataPipeline的小夥伴都在忙些什麼呢？爲能更好地服務用戶，DataPipeline最新版本支持：1. 一個數據源數據同時分發（實時或定時）到多個目的地；2. 提升H
2020-02-20 15:05:15
原创 Q&A系列一：DataPipeline常見問題回答
不知不覺中，大家已經陪伴DataPipeline走過了3年時間。在這期間，得益於客戶們的積極反饋和溝通，我們總結了一些日常工作中比較常見的問題，並基於這些問題進行了總結。爲避免突兀，我們會先從比較基礎且通用的問題開始，進而陸續放出一些稍加複
2020-02-20 15:05:15
原创 DataOps系列丨數據的“資產負債表”與“現狀”
作者：DataPipeline CEO 陳誠《跨越鴻溝》的作者Geoffrey Moore曾說“沒有數據，運營企業就像一個又聾又瞎的人在高速上開車一樣”。數據的價值從未像現在這樣被企業重視，IDC預估，到2020年，全世界會有44萬億G數據
2020-02-20 15:05:15
原创 上篇丨數據融合平臺DataPipeline的應用場景
在過去的一年裏DataPipeline經歷了幾次產品迭代。就最新的2.6版本而言，你知道都有哪些使用場景嗎？接下來將分爲上下篇爲大家一 一解讀，希望這些場景中能出現你關心的那一款。 場景一：應對生產數據結構的頻繁變更場景 場景說明 在
2020-02-20 15:05:15
原创 DataPipeline CTO 陳肅：我們花了3年時間，重新定義數據集成
目前，中國企業在×××通、交換、利用等方面仍處於起步階段，但是企業應用數據集成市場卻是龐大的。根據 Forrester 數據看來，2017 年全球數據應用集成市場純軟件規模是 320 億美元，如果包括人工在內，將達到 3940 億美元。 在
2019-08-04 14:18:02
原创 深度思考：爲什麼數據融合是企業成功的祕訣
目前你的數據融合策略是什麼？ 如果你不知道如何回答，別擔心。其實當下還有許多組織甚至沒有意識到數據融合的重要性。 如今企業正面臨着巨大的數據挑戰，特別是在這個快速變化的技術世界中，許多企業亟需處理那些分散在組織中的數據。這些數據通常出現在各
2019-08-04 14:17:51
6
原创 DataPipeline丨新型企業數據融合平臺的探索與實踐
一、關於數據融合和企業數據融合平臺 數據融合是把不同來源、格式、特點性質的數據在邏輯上或物理上有機地集中，從而爲企業提供全面的數據共享。 企業數據融合平臺，通常的表現形態爲運行着大量數據同步和轉換任務的分佈式系統。其源端一般爲各類偏實時的
2019-05-01 00:56:43
原创 DataPipeline丨瓜子二手車基於Kafka的結構化數據流
一、爲什麼選擇Kafka 爲什麼選Kafka？鑑於龐大的數據量，需要將其做成分佈式，這時需要將Q裏面的數據分到許多機器上進行存儲，除此之外還有分佈式的計算需求。同時需要支持多語言，如Java、GO、php等，另外還有高可用的需求。 二、K
2019-05-01 00:56:43
7
原创 面對數據丟失、數據錯誤、業務邏輯發生變化時，可以這麼解決。
根據福克斯新聞在20日的報道，美國田納西州一名14歲男孩Jackson成功在家中打造出核融合實驗的小型聚變反應器，成功結合2個氘原子、釋出一顆中子。 關鍵是，Jackson所需的零件是從網上購買，或自己改裝的。而且僅用一年時間就打造出了反應
2019-03-01 13:38:27