原创 數據分析師必修課--競品分析

界定競爭對手的方法:1. 產品是否可替代 2. 看管理者的界定 3. 根據顧客的消費信息4.根據顧客的意見收集競爭對手信息的工具:百度文庫、新浪微指數、淘寶指數、 谷歌趨勢、中國網絡視頻指數,以上爲免費;取真經、情報通、數據魔方爲收費;

原创 企業級大數據平臺

部署:分爲測試環境、生產環境。Hadoop發行版本:Apache、CDH(tar包、rpm包、parcel包,必須由cloudera manager進行管理)、HDP注意:大數據框架內禁用IPV6;同時要修改用戶的最大進程數、單個進程打開的

原创 微服務核心架構

定義:微服務是一種架構風格、由馬丁在其博文中首次提出;特點:1. 一組小的服務 2.獨立的進程 3.輕量級級通信協議(即http) 4.基於業務能力 5. 獨立部署 6.無集中式管理挑戰:1. 分佈式複雜性 2. 數據一致性 3.運維複雜性

原创 大數據生態學習__HS&MR

Hadoop:版本迭代較快,最新爲3.0版本,本次學習以2.0爲主;

原创 Oracle_GG

概念:用戶OLTP、OLAP之間的數據實時同步,最初由舊金山一家公司研發,被Oracle收購併大力推廣,性能很高;亞秒級別延遲;TPS可以上千;異構性:支持不同類型數據庫之間的數據同步;事務性:支持完成事務的複製;典型場景:單向、雙向、環形

原创 Oracle_DataGuard

原理**:將源庫的日誌傳輸到目標數據庫,應用在目標數據庫上;日誌傳輸方式:ARCH傳輸、LGWR同步傳輸、LGWR異步傳輸;數據保護方式:最大性能(在不影響源數據庫性能的前提下提供儘可能高的數據保護,一旦日誌數據寫入到源庫的聯機重做日誌文件

原创 Oracle_RAC_12C管理與實戰

Oracle12C官方文檔:從官方網站下載Oracle12C軟件:從官方網站下載,可以免費試用;高可用:業務不中斷、數據不丟失,通過SLA指標來衡量;用於應對計劃內升級維護、計劃外故障燈場景;MAA: maximum availabilit

原创 Oracle11G_邏輯備份

備份分類:物理備份(數據庫文件、日誌文件、控制文件等備份)、邏輯備份(對數據庫邏輯組件,如表、視圖、存儲過程等備份);物理備份更加複雜;故障分類:1 語句故障,由oracle服務器端程序自動處理 2. 用戶進程故障:由服務器端進程PMON

原创 Oracle11G_l臨時表空間

臨時表空間:用來存放用戶的臨時數據,在需要是可以被覆蓋,數據庫關係後臨時數據小時;用處:大量數據的排序操作;

原创 Oracle11G_PL/SQL

PL/SQL:對應SQL Server中的T-SQL,含義是過程語言和接過話查詢語言的結合,支持多種數據類型,是對SQL的擴展;執行過程:客戶端將PL/SQL程序塊發給服務器端,首先由PL/SQL引擎執行其中的過程語言,然後將SQL語句發送

原创 Oracle11G_歸檔和日誌文件

運行方式:Oracle數據庫可以運行在歸檔模式、非歸檔模式,且可以相互切換;日誌文件分類:聯機日誌文件、歸檔日誌文件;聯機重做日誌 :記錄對數據的修改,可用於數據恢復、日誌分析;也叫在線日誌文件;LGWR進程:把日誌緩衝區中的重做條目寫入到

原创 Oracle11G_數據字典和動態性能視圖

數據字典:數據庫的核心,記錄了數據庫最基本信息;包括基本表(名稱以$結尾,屬於sys用戶,不允許修改)、視圖(便於對基本表的使用);動態性能視圖:存放數據庫的主要活動信息;以V$開頭;

原创 Oracle11G_事務

概念:一系列的操作,邏輯上是一個整體,不可分割;特性:ACID,即A(atomicity)原子性,要麼都執行,要麼都不執行;C(consistency)一致性,當事務完成時數據必須處於一致狀態;I(Isolation)隔離性,事務彼此之間相

原创 Oracle11G_索引

概念:爲了加快查詢速度而創建的一種結構,與表在物理上、邏輯上獨立於表數據;索引分類:B樹索引(唯一 索引、組合索引、反向鍵索引、基於函數的索引)、位圖索引;創建索引:默認是USERS表空間;分析索引:用於去除索引中的碎片;當索引中碎片較多時

原创 Oracle11G_JAVA操作數據庫

JAVA訪問Oracle兩種方式:JDBC-ODBC橋、JDBC;JDBC驅動:位於oracle主目錄下lib目錄中;JDBC-ODBC橋:JAVA程序通過橋將JDBC調用轉換成ODBC調用,ODBC指向oracle服務,目前已經不常用了;