原创 【專治不明覺厲】之“大數據” Hadoop，Spark和Storm
大數據（Big Data）大數據，官方定義是指那些數據量特別大、數據類別特別複雜的數據集，這種數據集無法用傳統的數據庫進行存儲，管理和處理。大數據的主要特點爲數據量大（Volume），數據類別複雜（Variety），數據處理速度快（Velo
2019-11-30 14:20:00
原创 安裝Zabbix過程中出現的問題集
1、web頁面無法顯示：原因一：檢查系統是否安裝apache，以便解析html原因二：php沒有完全安裝好原因三：apache沒有提供對php的支持原因四：apache的配置文件中DocumentRoot的參數值沒有改成zabbix的路徑
2019-07-19 14:29:49
原创 zabbix配置
說明：操作系統：CentOSIP地址：192.168.21.127Web環境：Nginx+MySQL+PHPzabbix版本：Zabbix 2.2 LTS備註：Linux下安裝zabbix需要有LAMP或者LNMP運行環境準備篇：一、Web
2019-07-19 14:29:49
原创 Linux如何開啓mysql遠程連接
Mysql默認root用戶只能本地訪問，不能遠程連接管理mysql數據庫，linux如何開啓mysql遠程連接？設置步驟如下：1、GRANT命令創建遠程連接mysql授權用戶rootmysql -u root -pmysql>GRANT A
2019-07-19 14:29:49
原创 谷歌三大核心技術（三）Google_BigTable中文版
閱讀目錄行列族時間戳5.1Tablet的位置5.2Tablet分配5.3Tablet服務5.4Compactions局部性羣組壓縮通過緩存提高讀操作的性能Bloom過濾器Commit日誌的實現Tablet恢復提速利用不變性單個Tablet服
2019-02-22 20:45:12
原创 谷歌三大核心技術（一）Google File System中文版
閱讀目錄2.1設計預期2.2 接口2.3 架構2.4 單一Master節點2.5 Chunk尺寸2.6 元數據2.7 一致性模型3.1 租約（lease）和變更順序3.2 數據流3.3 原子的記錄追加3.4 快照4.1 名稱空間管理和鎖4.
2019-02-22 20:44:56
2
原创 hadoop命令大全
參考來自hadoop官方網文檔http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#cpFS ShellcatchgrpchmodchowncopyFromLocalcopyToLo
2019-02-22 20:44:54
原创 Linux 之 /etc/profile、~/.bash_profile 等幾個文件的執行過程
/etc/profile、/etc/bashrc、~/.bash_profile、~/.bashrc很容易混淆，他們之間有什麼區別？它們的作用到底是什麼？/etc/profile: 用來設置系統環境參數，比如$PATH. 這裏面的環境變量是
2019-02-22 20:44:54
原创 Linux cat命令詳解
cat命令是linux下的一個文本輸出命令，通常是用於觀看某個文件的內容的；cat主要有三大功能：1.一次顯示整個文件。$ cat filename2.從鍵盤創建一個文件。$ cat > filename只能創建新文件,不能編輯已有
2019-02-22 20:44:54
原创 Apache Spark三種分佈式部署方式比較
目前Apache Spark支持三種分佈式部署方式，分別是standalone、spark on mesos和 spark on YARN。其中，第一種類似於MapReduce 1.0所採用的模式，內部實現了容錯性和資源管理，後兩種則是未來
2019-02-22 20:44:54
1
原创 Spark VS Hadoop
1、 Spark VSHadoop有哪些異同點？ Hadoop:分佈式批處理計算，強調批處理，常用於數據挖掘、分析 Spark:是一個基於內存計算的開源的集羣計算系統，目的是讓數據分析更加快速, Spark 是一
2019-02-22 20:44:53
原创 SSH無需密碼密鑰登錄
SSH無需密碼密鑰登錄摘錄一在192.168.42.142機器上1)運行：ssh-keygen -t rsa2)然後拍兩下回車（均選擇默認）3)運行： ssh-copy-id -i /root/.ssh/id_rsa.pub root@19
2019-02-22 20:44:52
原创 hadoop-2.6.0基準測試
hadoop-2.6.0基準測試 1.測試程序的幫助信息[hadoop@tong1 hadoop-2.6.0]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-job
2019-02-22 20:44:52
原创 hadoop完全分佈式安裝配置
一、創建hadoop用戶並配置ssh無密鑰登錄。http://yntmdr.blog.51cto.com/3829621/1631908二、安裝jdk三、解壓hadoop壓縮包tar -xf hadoop-2.6.0.tar.gz修改擁有者
2019-02-22 20:44:52