原创 大數據MR模型以及代碼實現
數據： [customers.txt] 1,tom,12 2,tom,13 3,tom,14 4,tom,15 [orders.txt] 1,no001,12.23,1
2020-05-31 18:54:03
原创 kubernetes分佈式安裝部署-簡介
環境說明：3臺1C1G（我自己這樣的配置，有條件的可以調整大點）虛擬機且操作是系統centos7系統，三臺虛擬機IP地址爲： 1）192.168.56.11 主機名字：linux-node1.example.com 2）192.168.5
2020-05-31 18:54:03
原创 redis簡介-安裝部署-命令說明
1Redis的使用場景： 關係數據庫的緩存 可以做任務隊列（運行模塊1，模塊2，模塊3，模塊4，模塊5 ........） 大量數據運算（兩個集合求交集） 排行旁之類（redis非常擅長大量數據的排行榜） GEO地理位置（也是我們常用的附
2020-05-31 18:54:03
原创 UWSGI的作用
WSGI WSGI是一種WEB服務器==網關接口==。 是一個Web服務器（如nginx）與應用服務器（如uWSGI）通信的一種規範（協議）。 在生產環境中使用WSGI作爲python web的服務器。Python Web服務器網關接口，
2019-02-23 23:25:51
原创 大數據—zookeeper介紹-配置-安裝-使用命令
zookeeper ------------- 1.管理大量主機的協同服務。 2.分佈式應用，實現分佈式讀寫技術。 3.zk提供的服務 Naming service /
2018-12-01 00:11:58
原创 編程語言之Python1
一、 編程與編程語言 1、編程目的 計算機的發展就是爲解放人力，機器是死的，所以人必須找到一種能夠被機器識別的表達式從而把自己的思想按照 這個表達方式傳遞機器，完成機器可以自發的工作。 2、什麼編程語言 上面所
2018-11-20 08:25:54
原创 MySQL數據庫的優化
1硬件優化 1.1CPU的優化 百度核心業務使用8-16顆；其中一般2-4顆CPU作用一個實例 1.2內存的優化 內存一般採用的是16GB的內存條，只能採用雙數，不採用單數 1.3磁盤的優化 磁盤數越多越好，性能：SSD>SAS>SATA
2018-11-07 08:04:35
原创 微服務、分佈式服務治理與監控（雙十一過後進行更新）
1.產品背景 隨着業務規模的不斷擴大，面臨着服務數量不斷膨脹、線上環境日益複雜、服務依賴錯綜複雜且不知道服務之間相互的依賴關係等運維痛點； 服務的依賴自動梳理、拓撲自動生成、調用實時追蹤、異常明細分析、調用來源追蹤、實時容量規劃、問
2018-11-04 08:46:10
原创 Hadoop完全分佈式安裝2
hadoop簡介： 1.獨立模式(standalone|local)單機模式；所有的產品都安裝在一臺機器上且本地磁盤和副本可以在接下來的xml文件中 nothing! 本地文件系統。
2018-10-27 08:17:54
原创 大數據的簡介及Hadoop單機和分佈式安裝方法1
hadoop：開源軟件，可靠的、分佈式、可伸縮的大數據軟件（是一個生態體系包括但不限於：hive、spark、MR、persto、kylin） 國家提出去IOE戰略： IBM //ibm大、小型機 Oracle
2018-10-26 22:40:26
原创 Hive知識總結
hive -------------- 數據倉庫,在線分析處理。 HiveQL,類似sql語言。 表,metadata->rdbms. hive處理的數據是hdfs. MR,聚合操作。 1）內部表,
2018-10-26 22:40:14
1
原创 Linux文件系統權限詳解
Linux權限說明： 444 r--r--r-- 600 rw------- 644 rw-r--r-- 666 rw-rw-rw- 700 rwx------ 744 rwxr--r-- 755 rwxr-xr-x 777 rwxrwx
2018-10-26 22:40:14
原创 session知識
1產生cookie和session技術的背景 http協議的特點： 基於請求響應（有請求就有迴應；一一對應） 短連接的過程（建立連接過程） 無狀態保存（這就是cookie和session存在的價值） 但是我們app和網站
2018-10-20 08:00:48
原创 redis總結知識點
1Redis的使用場景： 關係數據庫的緩存 可以做任務隊列（運行模塊1，模塊2，模塊3，模塊4，模塊5 ........） 大量數據運算（兩個集合求交集） 排行旁之類（redis非常擅長大量數據的排行榜） GEO地理位置（也是我們常用的附
2018-10-20 08:00:48
原创 大數據知識筆記
數據 ------------ [customers.txt] 1,tom,12 2,tom,13 3,tom,14 4,tom,15 [orders.txt] 1,no0
2018-10-20 08:00:48