原创 Centos7 編譯安裝lamp
CentOS7編譯安裝LAMP 引言 在CentOS7上可以直接使用yum安裝LAMP(Linux+Apache[httpd]+Mysql+PHP)，比手動編譯安裝LAMP要簡單的多，但在實際的生產環境中都會手動編譯LAMP，使用
2020-02-20 16:26:14
原创 Spark系列4- Spark Streaming
1 流計算 靜態數據和流數據 靜態數據類似存儲在水庫中的水，是相對靜止不動的，如數據倉庫中儲存的數據、關係型數據庫中存儲的數據等。流數據是指在時間分佈和數量上無限的一系列動態數據合體，數據記錄是流數據的最小組成單元。 靜態數據和流數據
2018-10-13 10:53:40
2
原创 Spark系列3 - Spark SQL
1 從Shark到Spark SQL Spark SQL的前生是Shark，即Hive on Spark。Shark本質是通過Hive的HQL進行解析，將HiveQL翻譯成Spark上對應的RDD操作，然後通過Hive的Metadat
2018-09-30 10:16:40
1
原创 Spark系列2 - Spark RDD編程
一、RDD 編程基礎 1 RDD 創建 從文件系統創建RDD textFile val part = sc.textFile("file:///root/software/spark-2.2.0-bin-hadoop2.6/READM
2018-09-30 10:16:40
2
原创 Spark系列1 - Spark生態和RDD
1 Spark的生態 Spark Core中的基本概念 DAG(Directed Acyclic Graph), 有向無環圖。Spark Core提供了有向無環圖的分佈式計算框架，並提供內存機制來支持多次迭代計算或者數據共享，大大
2018-09-30 10:16:40
1
原创 大數據技術棧
大數據技術棧全貌 下面自底向上介紹各個層的主要項目。 1 採集層和傳輸層 Sqoop 在hadoop和關係型數據庫之間轉換數據。 Flume Flume是一個分佈式的高可用的數據收集、聚集和移動的工具。通常用於從其他系統蒐集數
2018-09-04 23:32:02
原创 使用openssl模擬CA和CA證書的簽發
當使用ssl/tls進行加密通信時，必須要有數字證書。若通信只限制在局域網內，可以不向第三方機構申請簽發證書，可以通過openssl模擬CA(Certificate Authority)，並通過該CA簽發證書。下文講述在Centos7.3
2018-08-26 13:41:13
原创 Linux性能檢測常用的10個基本命令
本文的內容主要來自對Netflix的一篇技術博客( Linux Performance Analysis in 60,000 Milliseconds(可能需要翻牆才能訪問) )，並添加了一些自己的理解，僅供參考。 一、常用檢測性能的10
2018-08-26 13:41:13
原创 對稱加密、單向加密和非對稱加密
下文主要從加密算法的特徵、常用加密算法和加密工具等方面，梳理和比較對稱加密、單向加密和公鑰加密的概念及其之間的聯繫。 1. 對稱加密 採用單鑰密碼的加密方法，同一個密鑰可以同時用來加密和解密，這種加密方法稱爲對稱加密，也稱爲單密鑰加密。常
2018-08-26 13:41:13
原创 讀《大型網站技術架構》之後的思考
《大型網站技術架構》這本書是李智慧著，電子工業出版社出版。 閱讀本書的收穫是，書中勾勒的大型網站建設的藍圖，提升了我對網站架構整體的認知，如大型網站建設時常用的模式（問題以及對應的解決方案）、大型網站建站的要素（性能、可用性、可伸縮性等）
2018-08-26 13:41:13
1
原创 使用ccproxy的二級代理轉換socks5代理爲http代理
在通過SSH隧道配置http代理文中，使用了Privoxy來實現轉換socks5代理爲Http代理，但是Privoxy不太穩定，容易出現 Forward failed的錯誤，且不是一個成熟的軟件。本文通過設置ccrpoxy的二級代理功能，
2018-08-26 13:41:13
3
原创 Kubernetes之核心概念（二）
Kubernetes核心概念 要深入的理解Kubernetes的特性和工作機制，首先要掌握Kubernetes模型中的核心概念。從集羣組件的角度來看，Kubernetes主要是主節點中的組件，如kube-apiserver、kube-sc
2018-08-26 13:41:11
2
原创 Docker常用操作命令總結
獲取Docker鏡像的命令 docker pull 命令格式如下： docker pull [選項] [Docker Registry地址]<倉庫名>:<標籤> 選項可以通過 docker pull –help 查看 Docker Re
2018-08-26 13:41:11
原创 C++11中std::reference_wrapper的理解
std::reference_wrapper reference_wrapper 將引用包裝成一個對象，即引用的包裝器； reference_wrapper 是一個引用包裹器，可以包裹一個指向對象或者指向函數指針的引用，既可以通過拷貝構
2018-08-26 13:41:11
5
原创 從lamp到高可用的web架構的演進
本文受互聯網架構大會中美團、滴滴等互聯網公司架構演進的啓發，並結合自己的實踐和實驗，從宏觀的角度講述從簡單lamp(linux apache mysql php)到高可用web架構的一步步迭代過程。 下面的內容主要是從單一業務的角度考慮的
2018-08-26 13:41:11
2