原创 HDFS 基本原理
隨着互聯網的發展，數據日益增多，增長超過了單機能夠處理的上線，數據如何存儲和處理成爲了科技公司的難題，隨着google的三篇論文的發佈，大家終於找到了一個方案-分佈式文件系統+MapReduce。Hadoop是參考google論文實現的，
2020-05-30 14:51:39
原创 數據倉庫項目需求分析
一、簡述 數據倉庫項目是一個複雜的過程，項目的開發涉及到多方面的問題和風險：技術風險、數據質量問題、項目管理問題，但最項目中中最隱蔽、最容易忽略、最難控制的一環，就是需求的調研和分析。需求分析不深入、不準確的結果就是系統完成後沒有
2019-07-01 09:15:29
原创 YARN原理及其工作流程
一 YARN組成元素及其功能 RM:YARN的管理者 NM:YARN的執行者 二 YARN工作原理 首先數據上傳到集羣中.然後將寫好的程序打成架包通過命令提交MR作業.提交到集羣后由集羣管理者MR開始調度分配資源.到HDFS讀取
2019-06-11 22:19:43
原创 MapReduce Shuffle 和 Spark Shuffle 詳解
Shuffle簡介 shuffle的本意是洗牌、混洗的意思，把一組有規則的數據儘量打亂成無規則的數據。而在MapReduce中，Shuffle更像是洗牌的逆過程，指的是將map端的無規則輸出按指定的規則“打亂”成具有一定規則的數據
2019-06-10 14:16:34
1
原创 使用hexo和git實現多地更新和配置博客源文件
使用hexo寫博客的一個問題就是源文件都是在本地的，如果換了電腦需要更新博客時就會比較麻煩。目前，覺得比較靠譜的辦法就是用github來管理了。 主要的思路是 利用git分支實現 hexo生成的靜態博客文件默認放在master分
2019-06-10 14:16:34
1
原创 關於centos7下yum安裝報錯問題解決方法Cannot find a valid baseurl for repo: base/7/x86_64
1、首先備份 CentOS-Base.repo sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak 2.將yum源配置文件/e
2018-10-26 22:09:02
1
原创 centos7下yum安裝mysql5.7
1、構建下載倉庫 在/etc/yum.repos.d/下新建mysql-community.repo 如下所示： # Enable to use MySQL 5.7 [mysql57-community] name=MySQL 5.7
2018-10-26 22:09:02
原创 安裝Metron
1.Metron簡介 Metron是一種多功能的安全遙測數據捕獲、流分析和威脅響應平臺，最早由Cisco公司的開源大數據系統安全框架項目OpenSOC遷移爲Metron項目，現已晉升爲Apache頂級項目。Metron提供的功能包
2018-09-20 22:42:09
40
原创 Linux學習之路- - - -97條必須掌握的命令
1.ls [選項] [目錄名 | 列出相關目錄下的所有目錄和文件 -a 列出包括.a開頭的隱藏文件的所有文件 -A 通-a，但不列出"."和".." -l 列出文件的詳細信息 -c 根據ctime排序顯示 -t 根據文件修改時間
2018-08-30 19:28:57
原创 實驗吧CTF密碼學Writeup
1、變異凱撒 對照ASCii碼，差值遞增a-f f-l Z-a _-g 2、傳統知識+古典密碼 六十甲子表 辛卯，癸巳，丙戌，辛未，庚辰，癸酉，己卯，癸巳 28+60 30+60 23+60 8+60 17+60 10+60 16+60
2018-08-30 19:28:57
原创 linux查看日誌文件內容命令tail、cat、tac、more、head、echo
linux查看日誌文件內容命令tail、cat、tac、head、echo tail -f test.log 你會看到屏幕不斷有內容被打印出來. 這時候中斷第一個進程Ctrl-C, ---------------------------
2018-08-30 19:28:57
原创 Centos7上搭建Hadoop3.1.1集羣
分配IP 先在草稿紙上分配好IP和主機名，三臺主機均能上外網，且均能互相ping通即可。 IP 主機名 192.168.85.101 node1 192.168.85.102 node2 192.168.85.103 node3 再將以上
2018-08-30 19:28:55
原创 python pandas 中文件的讀寫——read_csv（）讀取文件
read_csv()讀取文件 1.python讀取文件的幾種方式 read_csv 從文件，url，文件型對象中加載帶分隔符的數據。默認分隔符爲逗號 read_table 從文件，url，文件型對象中加載帶分隔符的數據。默認分隔符爲製表符
2018-08-30 19:28:55
5
原创 win10如何更改C盤下的用戶名
1、修改註冊表修改自己用戶名對應的ProfileImagePath值，修改爲你要改成的英文名字. HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Profil
2018-08-30 19:28:55
3
原创 centos7下搭建NAT和DHCP服務器
什麼是NAT？ NAT（Network address translation）即網絡地址轉換，作爲一種過渡解決手段，可以用來減少對全球合法IP地址的需求。簡單的說，NAT就是在內部專用網絡中使用內部地址，而當內部節點要與外界網絡發生聯繫
2018-08-30 19:28:55