一、數據庫技術的發展
數據模型是數據庫系統的核心和基礎,以數據模型的發展爲主線,數據庫技術可以分爲三個發展階段,即第一代的網狀、層次數據庫系統,第二代的關係數據庫系統,以及新一代的數據庫系統。
1、第一代數據庫系統
層次數據庫系統和網狀數據庫系統的數據模型雖然分別爲層次模型和網狀模型,但實質上層次模型是網狀模型的特例,它們都是格式化模型,它們從體系結構、數據庫語言到數據存儲管理均具有共同特徵。這兩類數據庫的共同特點有:
① 支持三級模式(外模式、模式和內模式)的體系結構,模式之間具有轉換功能;
② 用存取路徑來表示數據之間的聯繫;
③ 獨立的數據定義語言,可以描述數據庫的三級模式以及相互映像;
④ 導航的數據操縱語言,層次和網狀數據庫的數據查詢和數據操縱語言是一次一個記錄的導航式的過程化語言,這類語言通常嵌入某一種高級語言,例如:COBOL、FORTRAN、C語言中。
2、第二代數據庫系統
支持關係數據模型的關係數據庫系統是第二代數據庫系統。關係數據庫是以關係模型爲基礎的,而關係模型是由數據結構、關係操作和數據完整性三部分組成。關係模型不僅簡單、清晰,而且由關係代數作爲語言模型,由關係數據理論作爲理論基礎。
3、新一代數據庫系統
1990年高級DBMS功能委員會發表的《第三代數據庫系統宣言》提出了第三代數據庫應具備的基本特徵如下:
① 第三代數據庫應支持數據管理、對象管理和知識管理;
② 第三代數據庫系統必須保持或繼承第二代數據庫系統的技術;
③ 第三代數據庫系統必須對其他系統開放。
二、數據倉庫與數據挖掘
計算機系統中存在着兩類不同的數據處理工作:一類是操作型處理,也稱爲聯機事務處理,它是針對具體業務在數據庫聯機的日常操作;另一類是分析型處理,也稱爲聯機分析處理,一般針對某些主題的歷史數據進行分析,支持管理決策。
特性 | OLTP | OLAP |
特徵 | 操作處理 | 信息處理 |
面向 | 事務 | 分析 |
用戶 | 辦事員、DBA、數據庫專業人員 | 知識工人、分析員 |
功能 | 日常操作 | 長期信息需求,決策支持 |
DB設計 | 基於E-R,面向應用 | 星形、雪花,面向主題 |
數據 | 當前的,確保最新 | 歷史的,跨時間維護 |
彙總 | 原始的,高度詳細 | 彙總的,統一的 |
視圖 | 詳細,一般關係 | 彙總的,多維的 |
工作單位 | 短的、簡單事務 | 複雜查詢 |
存取 | 讀寫 | 大多爲讀 |
關注 | 數據進入 | 信息輸出 |
操作 | 主關鍵字上索引、散列 | 大量掃描 |
訪問記錄數 | 數十個 | 數百萬個 |
用戶數 | 數千 | 數百 |
DB規模 | 100MB到GB | 100GB到TB |
優先 | 高性能,高可用性 | 高靈活性,端點用戶自治 |
度量 | 事務吞吐量 | 查詢吞吐量,響應時間 |
更多關於數據倉庫和數據挖掘的內容可以參考: https://blog.csdn.net/lanhui_1996/article/details/77835942
三、大數據管理技術
大數據(big data),指無法在一定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
麥肯錫全球研究所給出的定義是:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力範圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。
關於更多大數據的信息可以參考:https://blog.csdn.net/u013977285/article/details/71368367