原创 Hadoop-26、分區
現在將txt文檔中的電話號碼進行拆分 phone_data.txt 1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 200 2 13846544121 192.19
2020-06-07 02:26:50
原创 Hadoop-24、MapReduce並行機制，自定義InputFormat代碼
one.txt yongpeng weidong weinan sanfeng luozong xiaoming two.txt longlong fanfan mazong kailun yuhang yix
2020-06-07 02:26:50
原创 Hadoop-15、API
Create New Project 在pom.xml上導入依賴 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/
2020-05-24 10:34:47
原创 Hadoop-11、時間同步服務
使得幾臺服務器時間同步 主要看第一行和第三行，否則就要手動安裝 查看ntpd是否開啓 現在需要停掉所有服務器的ntpd，在每一臺服務器上輸入 以後所有的時間以Hadoop102爲基準 每隔
2020-05-06 10:51:19
原创 Hadoop-14、Windows的Hadoop環境配置
添加hadoop的環境變量，用的是win10編譯後的hadoop2.7.2編譯的jar包 然後在PATH裏面新添加 打來cmd檢驗 然後重啓電腦即可
2020-05-06 10:51:19
原创 Hadoop-10、歷史服務器、日誌聚集
在做配置部署的時候，只需要將裝有NN和RM節點的虛擬機暫停即可。 設置hadoop104爲歷史服務器 點擊History
2020-05-06 10:51:19
原创 8、完全分佈式配置：集羣配置
DN一般與NM在一起 由於現在資源有限，只能使用三臺虛擬機 在hadoop102上修改NameNode 然後將這些文件分發過去 注意：一定要在namenode機器上格式化 出現successfully即可完成
2020-05-03 12:35:01
原创 7、完全分佈式配置：快速分發Hadoop和Java
將xsync拷貝到/bin下（環境目錄下），這樣可以直接按TAB鍵直接補全，在整個系統都可以直接使用xsync這個腳本。現在將Hadoop和Java拷貝到其他的主機上 首先進入/opt/module/下 然後在所有的主機上
2020-05-03 12:35:01
原创 windows通過notepad++修改linux上的文件
編輯linux系統上文件，我想大家都很清楚是用vim+文件名的命令，進入vim編輯器裏編輯文件的。但是在vim裏編輯文件特別費勁。於是小編在網上搜了一下在windows系統下使用notepad++編輯linux上的文件，真的是屢試
2020-05-03 12:35:01
原创 9、無密登錄配置
配置的原因：先決條件：java和ssh，要啓動集羣的腳本，就要配置ssh免密登錄 SSH是一種通信協議 一直回車 通過hadoop102發送給hadoop103 到此實現了102到103的免密登錄 下面進行免密登錄測
2020-05-03 12:35:01
原创 6、完全分佈式配置：分發腳本
遠程登錄102，直接將hadoop101配置好的hadoop安全拷貝至hadoop102 rsyc是將所有的信息拷貝過來 比起上面的手動靠背，下面通過一個腳本將要拷貝的文件拷貝到其他的虛擬機文件上 #!/bin/
2020-04-30 11:38:18
原创 5、Yarn的僞分佈式
現在切換資源調度器 下面是舊版本的，新版本需要查看官網的例子 還需要進入sbin目錄才能啓動 點擊Nodes 能看到自己就成功了。 browse the file system
2020-04-27 21:25:55