前言
任何應用系統都離不開對數據的處理，數據也是驅動業務創新以及向智能化發展最核心的東西。這也是爲何目前大多數企業都在構建數據中臺的原因，數據處理的技術已經是核心競爭力。在一個完備的技術架構中，通常也會由應用系統以及數據系統構成。應用系統負責處理業務邏輯，而數據系統負責處理數據。
傳統的數據系統就是所謂的『大數據』技術，這是一個被創造出來的名詞，代表着新的技術門檻。近幾年得益於產業的發展、業務的創新、數據的爆發式增長以及開源技術的廣泛應用，經歷多年的磨鍊以及在廣大開發者的共建下，大數據的核心組件和技術架構日趨成熟。特別是隨着雲的發展，讓『大數據』技術的使用門檻進一步降低，越來越多的業務創新會由數據來驅動完成。
『大數據』技術會逐步向輕量化和智能化方向發展，最終也會成爲一個研發工程師的必備技能之一，而這個過程必須是由雲計算技術來驅動以及在