原创 java線程安全問題原因及解決辦法
1.爲什麼會出現線程安全問題 計算機系統資源分配的單位爲進程，同一個進程中允許多個線程併發執行，並且多個線程會共享進程範圍內的資源：例如內存地址。當多個線程併發訪問同一個內存地址並且內存地址保存的值是可變的時候可能會發生線程安全問題，因此
2019-06-30 18:22:33
原创 數據中臺到底是什麼？
阿里提出了“大中臺，小前臺”，其中臺事業部包括搜索事業部、共享業務平臺、數據技術及產品部，數據技術及產品部應是數據中臺建設的核心部門。 那麼，數據中臺到底是什麼？具體包含哪些內容？跟大數據平臺是什麼關係？在架構層面是怎麼體現的？數據中臺跟
2019-06-30 18:22:33
原创 數據倉庫中的幾種數據模型
數據倉庫中常見的模型有：範式建模，雪花模型，星型建模，事實星座模型. 星型模型 星型模型是數據集市維度建模中推薦的建模方法。星型模型是以事實表爲中心，所有的維度表直接連接在事實表上，像星星一樣。星型模型的特點是數據組織直觀，執行效率高
2019-06-29 18:26:22
原创 數據倉庫之分層模型
一、各行業使用的分層模型 不同的行業使用的分層也有所不同，但思想都差不多 1.電信通訊 stage層 ->bdl層 ->analysis層 2.傳統金融/保險 ods層 ->pdm層 ->dm層 3.互聯網金融/電商 odl層
2019-06-29 18:26:22
原创 Redis和Memcache區別，優缺點對比
1、 Redis和Memcache都是將數據存放在內存中，都是內存數據庫。不過memcache還可用於緩存其他東西，例如圖片、視頻等等。 2、Redis不僅僅支持簡單的k/v類型的數據，同時還提供list，set，hash等數據結構的存
2019-06-25 20:36:44
原创 HBase原理－數據讀取流程解析
和寫流程相比，HBase讀數據是一個更加複雜的操作流程，這主要基於兩個方面的原因：其一是因爲整個HBase存儲引擎基於LSM-Like樹實現，因此一次範圍查詢可能會涉及多個分片、多塊緩存甚至多個數據存儲文件；其二是因爲HBase中更新操作
2019-06-24 18:06:43
原创 Spark SQL基本概念與基本用法
1. Spark SQL概述 1.1 什麼是Spark SQL Spark SQL是Spark用來處理結構化數據的一個模塊，它提供了兩個編程抽象分別叫做DataFrame和DataSet，它們用於作爲分佈式SQL查詢引擎。從下圖可以查看R
2019-06-24 18:06:43
原创 Spark學習之路SparkSQL的自定義函數UDF
在Spark中，也支持Hive中的自定義函數。自定義函數大致可以分爲三種： UDF(User-Defined-Function)，即最基本的自定義函數，類似to_char,to_date等 UDAF（User- Defined Aggre
2019-06-23 18:10:20
原创 Spark學習之路 SparkSQL簡單使用
一、SparkSQL的進化之路 1.0以前： Shark 1.1.x開始： SparkSQL(只是測試性的) SQL 1.3.x: SparkSQL(正式版本)+Dataframe 1.5.x: Spar
2019-06-23 18:10:10
原创 Spark學習之路 Spark分區
一、分區的概念 分區是RDD內部並行計算的一個計算單元，RDD的數據集在邏輯上被劃分爲多個分片，每一個分片稱爲分區，分區的格式決定了並行計算的粒度，而每個分區的數值計算都是在一個任務中進行的，因此任務的個數，也是由RDD(準確來說是作
2019-06-23 18:10:10
原创 Apache 流框架 Flink，Spark Streaming，Storm對比分析
1.Flink架構及特性分析 Flink是個相當早的項目，開始於2008年，但只在最近纔得到注意。Flink是原生的流處理系統，提供high level的API。Flink也提供 API來像Spark一樣進行批處理，但兩者處理的基礎是完全
2019-06-19 19:01:44
原创 Hbase讀寫流程和尋址機制
寫操作流程 (1) Client通過Zookeeper的調度，向RegionServer發出寫數據請求，在Region中寫數據。 (2) 數據被寫入Region的MemStore，直到MemStore達到預設閾值。 (3) MemStor
2019-06-19 19:01:44
原创 Spark中parallelize函數和makeRDD函數的區別
我們知道，在Spark中創建RDD的創建方式大概可以分爲三種：（1）、從集合中創建RDD；（2）、從外部存儲創建RDD；（3）、從其他RDD創建。 而從集合中創建RDD，Spark主要提供了兩中函數：parallelize和makeR
2019-06-15 19:02:29
原创 大數據在線和離線採集常用架構剖析
1 大數據處理的常用方法 大數據處理目前比較流行的是兩種方法，一種是離線處理，一種是在線處理，基本處理架構如下： 在互聯網應用中，不管是哪一種處理方式，其基本的數據來源都是日誌數據，例如對於web應用來說，則可能是用戶的訪問日誌、用戶的
2019-06-15 19:02:29
原创 軟件著作權登記流程、時間、材料
軟件著作權登記流程、時間、材料 一、軟件著作權登記流程 填寫申請表--→提交申請文件--→繳納申請費--→登記機構受理申請--→補正申請文件（非必須程序）--→取得登記證書。 http://www.ccopyright.com.cn/
2019-06-10 20:34:11