原创 大數據與人工智能入門到放棄（04 回顧篇 hadoop高可用【HA】的搭建）
記： 最近公司任務比較多，所以小忙之中，在晚上抽出一丟丟時間來搭建Hadoop的高可用集羣。 集羣規劃準備 此次搭建是在03篇中搭建好完全分佈式的情況下進行修改。因爲機器配置受限，但是爲了能搭建出來高可用的集羣效果。所以把主、備NameN
2020-06-19 04:11:35
原创 大數據與人工智能入門到放棄（03 回顧篇 hadoop完全分佈式安裝配置）
記： 下班後洗個澡，趁着昨天寫完僞分佈式，今天繼續就來一波Hadoop完全分佈式的配置。 準備環境 包括昨天的一臺master節點，還需另外準備2臺節點，我還將master也設置成從節點，不僅有namenode而且還有datanode。所
2020-06-19 04:11:35
原创 Django項目環境搭建
1.創建虛擬環境 virtualenv -p python3 dj(環境名字) 2.進入虛擬環境 source activate 退出當前虛擬環境 deactivate 3.創建django項目 django-admin startpr
2020-05-31 23:04:48
1
原创 大數據與人工智能入門到放棄（10 回顧篇 HBase java api操作）
記： 最近在公司寫單元測試，因爲要涉及到周任務達標問題，所以天天加班，今天週末，安排一波Hbase完全分佈式的搭建安裝 HBase java api操作 在很多情況下，操作hbase不是在命令行直接操作的，所以有了很多api，這裏我用ja
2019-10-27 14:36:25
原创 大數據與人工智能入門到放棄（09 回顧篇 HBase完成分佈式安裝）
記： 最近在公司寫單元測試，因爲要涉及到周任務達標問題，所以天天加班，今天週末，安排一波Hbase完全分佈式的搭建安裝 HBase完成分佈式安裝 這裏我用的0.98的版本，附上下載地址https://archive.apache.org/
2019-09-26 21:32:31
原创 大數據與人工智能入門到放棄（08 回顧篇 Hive多節點環境搭建）
記： 這是在加班時寫的 Hive多節點環境搭建 在上一篇文章中， 搭建單節點的hive時，我在master裝了單機的hive；node2中安裝了mysql，所以是node2進行hive的元數據管理服務；所以這次決定不去破壞hive的單節點
2019-09-07 14:33:48
原创 大數據與人工智能入門到放棄（06 回顧篇 配置yarn高可用環境）
記： 最近任務有點多，多到天天加班 修改配置文件 搭建過程可參考hadoop官方文檔 進入hadoop目錄下中etc目錄下的hadoop目錄修改文件，如下操作，首先修改文件名，然後配置文件，此次搭建高可用的主備ResourceManage
2019-09-02 21:40:43
原创 大數據與人工智能入門到放棄（07 回顧篇 Hive單節點環境搭建與mysql）
記： 最近空閒時間都在刷算法題，所以沒怎麼更新，這次趁着週末，安排一波 搭建Hive需要先做什麼？ 用一臺服務器作爲mysql服務器，因爲hive的元數據會存儲在mysql中，所以下面就是選我的機器node2作爲mysql服務。 在這臺機
2019-09-02 21:40:43
原创 大數據與人工智能入門到放棄（05 回顧篇 配置window系統下hadoop的運行環境）
記 下午睡了覺，因爲把耳機放公司了，所以叫了同事去幫我拿耳機，沒耳機的我沒心情寫東西，就躺了一下午，耳機回來後，開剛。 準備hadoop包 統一用和Linux裏安裝的hadoop版本，即爲hadoop-2.7.5。還有要準備好hadoop
2019-08-25 14:44:45
原创 大數據與人工智能入門到放棄（02 回顧篇 jdk安裝與ssh免密登錄配置，hadoop僞分佈式配置）
記： 最近酒店到期，所以忙於租房找房子，搬家，晚上下班的空餘時間，寫完這一篇。 準備好jdk和hadoop壓縮包 這裏我jdk選用的是jdk-8u191-linux-x64.tar.gz，hadoop選用的是hadoop-2.7.5.ta
2019-08-13 21:32:56
原创 大數據與人工智能入門到放棄（01 回顧篇linux--網絡，服務，克隆）
前言： 爲了從頭到尾的搞透（瞭解運用）大數據和AI，所以從今天開始，決定從頭開始，從0開始回顧，到項目實戰，在工作之餘能抽出時間來完善大數據和AI的學習的過程，所以會從項目的搭建過程開始做起，每週至少3次更新博客，希望不會放棄。做這些記錄
2019-08-05 21:10:34
原创 kafka0.8的安裝
1.下載Kafka安裝包 2.上傳安裝包 3.解壓 4.修改配置文件 config/server.properties broker.id=0 host.name=主機名
2019-06-24 22:37:43
原创 nginx安裝
一.到官網直接下載nginx源碼包 二.下載完再上傳到linux服務器，並且解壓 三.進入源碼目錄進行預編譯 1.（第一次預編譯可能會遇見報錯） 2.解決報錯，那是缺少依賴導致的 報錯如下： 3.安裝依賴 yum in
2019-06-24 22:37:43
原创 SparkStreaming的Receiver方式和直連方式的區別
Receiver接收固定時間間隔的數據（放在內存中），使用Kafka高級的API，自動維護偏移量，達到固定的時間才處理，效率低且容易丟失數據； Direct直連方式，相當於直接連接到Kafka分區上，使用Kafka底層的API，需要自己維
2019-06-15 14:51:12
2
原创 kafka安裝及基本操作
kafka集羣安裝 1.下載Kafka安裝包 2.上傳安裝包 3.解壓 4.修改配置文件 config/server.properties broker.id=0 host.
2019-06-13 17:25:53