原创 疫情實時數據可視化系統的搭建（含代碼）
之前一直在做別的事情，就忘記整理系統的文檔了。現在正好閒下來，開始整理吧！ 本系統是基於肺炎疫情的實時數據可視化系統。界面圖如下： 網站如下：網站地址 該網站使用的技術和工具有：python網絡爬蟲、docker技術、Flask
2020-03-21 23:43:26
原创 Hadoop中shuffle的詳細過程
hadoop的shuffle詳細過程如下： （1）從maptask中收集我們的map方法輸出的kv數據對，放到內存緩衝區中 （2）從內存緩衝區不斷溢出本地磁盤文件，但是由於內存緩衝區的大小，可能會多次溢出，也就會溢出多個文件。 （
2020-03-14 11:51:35
原创 白話理解Hadoop的NameNode和SecondaryNameNode工作機制
NameNode裏的元數據是用來找到DataNode的，但是這些元數據是存儲在哪裏的呢？ 元數據的存儲位置無非是存儲在內存裏或者硬盤裏，但是存在硬盤裏，主機訪問的時候時間太長，放在內存裏，會明顯提高訪問的效率，但是存在內存裏也有一
2020-03-09 05:42:29
原创 搭建onedrive個人網盤（詳細步驟）
1.安裝寶塔面板。 yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh
2020-03-07 13:46:45
原创 大數據技術生態體系
圖中涉及的技術名詞解釋如下： 1）Sqoop：Sqoop是一款開源的工具，主要用於在Hadoop、Hive與傳統的數據庫(MySql)間進行數據的傳遞，可以將一個關係型數據庫（例如 ：MySQL，Oracle 等）中的數據導進到
2020-03-04 07:08:15
原创 Hadoop運行環境搭建（本地模式）
1.在/opt目錄下創建文件夾 （1）在/opt目錄下創建module、software文件夾，module文件夾是放解壓出來的軟件，software是原壓縮包。 $ sudo mkdir module $ sudo mkdir
2020-03-04 07:08:15
原创 Notepad++添加NppFTP插件
很多時候我們需要在linux上面修改文本內容，常用的方法是直接在linux上使用vim或者vi命令，但是這樣對於較大的文件來說未免有點不方便。所以使用nodepad的NppFtp插件遠程連接到linux裏面，修改裏面的文件內容。
2020-03-04 07:08:15
原创 centos7修改DNS
在CentOS 7下，手工設置 /etc/resolv.conf 裏的DNS，過了一會，發現被系統重新覆蓋或者清除了。所以需要改變方法。 1.修改 /etc/resolv.conf vim /etc/NetworkManager/
2020-03-01 19:15:07
原创 機器學習實戰之決策樹實戰筆記
決策樹的構建 ID3算法 構建決策樹的算法有很多，這裏使用ID3算法構建決策樹。 ID3算法的核心是在決策樹的各個結點上對應信息增益準則選擇特徵，遞歸地構建決策樹。 方法如下： 從根節點開始，對結點計算所有可能的特徵的信息增益，然
2020-02-23 03:03:39
原创 機器學習實戰之樸素貝葉斯基礎學習筆記
樸素貝葉斯簡介及優缺點 樸素貝葉斯是有監督學習算法中的一種，解決的是分類問題。決策樹算法和KNN算法都是給出的是最優類別的分類的預測的結果，沒有給出一個預測的估計值。 “樸素”的意思是在整個分類過程中只做最原始、最簡單的假設。貝葉
2020-02-23 03:03:39
原创 chrome安裝包下載（百度雲下載）
該程序是官網原版程序，非破解激活版本。所以將chrome的程序放在百度雲裏，供各位下載使用。如果對各位有用，請點贊關注啊 百度雲鏈接 提取碼：xv2t
2020-02-23 03:03:39
原创 tensorflow2實戰cifar100程序
本程序是搭建了13層神經網絡，具體網絡結構如下圖。 import tensorflow as tf from tensorflow.keras import layers,optimizers,datasets,Sequenti
2020-02-23 03:03:39
原创 docker容器的網絡通信（複習五）
docker容器的網絡通信主要是多個容器之間通過網絡通信進行相互配合。 兩種網絡通信的方式： 映射容器端口到宿主主機 容器互聯機制提供網絡服務 端口映射實現訪問容器 如果要從外部訪問某個容器的時候，需要知道某個容器的端口，然後
2020-02-23 03:03:39
原创 docker複習一之如何安裝docker
本操作系統使用的centos,版本爲7.0以上。注意centos6.0和7.0的版本安裝是不一樣的，注意區分。 1.更新系統包到最新 yum -y update 2.添加yum倉庫 cat >/etc/yum.repos.d/
2020-02-23 03:03:39