原创 myeclipse 本地遠程連接hadoop 並創建maven項目
下載hadoop-eclipse-plugin-2.5.2.jar的jar包放到myeclipse 的plugin文件夾下 ，不同hadoop對應不同版本，這個jar包也可以自己編譯解壓hadoop-2.5.0 tar.gz壓縮包到win
2018-08-26 04:14:09
2
原创 python 爬取微博實時熱搜，並存入數據庫實例
剛學python沒幾天，打算用paython爬去微博熱搜數據試驗一下，但是發現微博熱搜是動態數據，網頁源碼並不能直接獲取想要的數據，network裏也並不能找到相關內容，這時重新查看網頁源碼，發現有類似中文編碼的源碼，數一下正好50個，不
2018-08-26 04:14:09
原创 HBASE 使用java api 實現增刪改查實例
我們使用windows 本地myeclipse測試程序，具體搭建教程請看https://blog.csdn.net/weixin_41407399/article/details/79763235 首先創建maven 項目，並修改pom.
2018-08-26 04:14:09
原创 linux 最小化安裝後配置nat網絡環境
最小化安裝輸入 ifconfig，發現沒有網絡，接下來需要配置網絡輸入vi /etc/sysconfig/network-script/ifcfg-eth0，修改文件輸入service network restart 重啓網絡輸入 ifc
2018-08-26 04:14:09
2
原创 hadoop環境搭建之 linux CENTOS6.5 最小化安裝步驟
安裝VmwareWorkStation下載CentOS6.5 iso 鏡像文件點擊創建新的虛擬機，選擇典型，點下一步選擇稍後安裝操作系統選擇Linux CentOS64爲選擇安裝路徑和虛擬機名稱分配50G磁盤空間， 選擇將虛擬磁盤拆分多個
2018-08-26 04:14:09
4
原创 spark 處理網絡日誌 查詢pv uv實例
這裏我們先理解一下spark處理數據的流程，由於spark 有standalone,local,yarn等多種模式，每種模式都有不同之處，但是總體流程都是一樣的，大致就是客戶端向集羣管理者提交作業，生成有向無環圖，圖中的內容包括分成幾個s
2018-08-26 04:14:09
原创 招行筆試題，spark 實現共同好友查找
共同好友:求大量集合的兩兩交集 目標：令U爲包含所有用戶的一個集合:{U1,U2,...,Un}，我們的目標是爲每個(Ui,Uj)對(i!=j)找出共同好友。 前提:好友關係是雙向的 輸入:<person><,><friend1>< >
2018-08-26 04:14:09
1
原创 java實現升級版按鍵精靈
現在一些手遊可以在電腦模擬器實現操作，有一些無聊的副本手動去操作太浪費時間，網上的按鍵精靈功能太單一，按鍵時間固定又容易被識別，閒來無事寫了一個java腳本實現按鍵時間週期設置，以及多個點的點擊。 在使用按鍵的時
2018-08-26 04:14:09
41
原创 hadoop完全分佈式搭建HA（高可用）
首先創建5臺虛擬機（最少三臺），並且做好部署規劃ip地址 主機名 安裝軟件 進程 192.168.xx.120 master jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192.1
2018-08-26 04:14:07
5
原创 hadoop源碼包編譯驗證 snappy 詳細流程
下載安裝依賴包yum -y install lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool openssl-devel fuse-devel cmake使用roo
2018-08-26 04:14:07
4
原创 hadoop 配置hive 詳細流程
解壓hive壓縮包將hive目錄下conf文件夾下 hive-env.sh.template 拷貝成 hive-env.sh，並增加四行內容在hive-env.sh增加四行內容exportHADOOP_HOME=/opt/modules/
2018-08-26 04:14:05
3