原创 Hadoop分佈式文件系統數據流：文件讀取與寫入
文件讀取（流程圖）： 節點距離：兩個datanode節點分別到他們最近的共同父節點距離的和（舉例：相同機架不同服務器節點距離爲2，相同機房不同機架節點距離爲4，相同數據中心不同機房節點距離爲6） 在讀取過程中如果某datanode節
2020-06-23 04:06:24
原创 Hexo一鍵部署到阿里oss
Hexo一鍵部署到阿里oss 首先上腳本 感謝zhaohan提供的腳本(有點小問題，我自己修復了一下) const fs = require('fs') const path = require('path') const uti
2020-06-23 04:06:24
原创 Spring-Cloud-Alibaba與Dubbo的集成
前言 爲什麼要集成Dubbo 在我之前的文章提到過，spring-cloud-alibaba無縫的集成類feign組件，底層屬於http調用，所以使用起來會非常靈活， 但是在性能上不及rpc，Dubbo正是一款高性能的rpc框架，
2020-06-23 04:06:24
原创 MapReduce之wordcount的java與python實現
Java代碼： 重寫map類： public class WCMapper extends Mapper<LongWritable, Text, Text, IntWritable> { @Override protected vo
2020-06-23 04:06:24
原创 Centos7快速搭建Ngrok服務器及配置文件詳解
準備工作： 一臺具有公網IP的服務器（服務器端） 一個已經解析到此服務器的域名 內網服務器（客戶端） 步驟： 一、服務器端的操作 安裝git（先卸載舊版本） yum remove git yum install epel-release
2020-06-23 04:06:24
原创 mongoDB安裝與pymongo的使用
mongoDB安裝與pymongo的使用 安裝 推薦docker-compose安裝： 環境需求： docker docker-compose docker-compose文件 version: '2' services
2020-03-14 12:45:01
原创 Zookeeper集羣搭建
前提： 三臺hadoop節點可以正常啓動hdfs 步驟： 1、下載zookeeper安裝壓縮包，解壓到相應的目錄 2、在安裝目錄下創建data/zkData文件夾，在文件夾下新建myid文件，裏面輸入1 2、修改conf目錄下zoo.
2020-03-11 16:42:21
原创 Hexo + Github + 自定義域名(阿里免費SSL證書) 搭建個人博客/網站
最終成果：mew.wiki 歡迎您的到訪～ 前提準備： nodejs 環境 自己的域名(沒有也可以，就使用github page默認提供的) 安裝Hexo 官方文檔： https://hexo.io/zh-cn/ （看官方文檔就能完成，
2020-03-11 16:42:21
原创 MapReduce之計算平均數的Java與Python實現
Java代碼 重寫map： public class WCMapper extends Mapper<LongWritable, Text, Text, Text> { @Override protected void map(L
2020-03-11 16:42:21
原创 Mapreduce基本工作流程
map 端從hdfs讀入數據到完成映射到詳細過程： 以用wordcount計算一個文本爲例 讀取數據之後在內存中的大體形式是：鍵值對 map task 要做排序（方便索引），並且會把結果寫在本地磁盤上（而不是寫入hdfs，以免佔用大
2020-03-11 16:42:21
原创 MapRduce python Top_n
數據格式： 4234 4565 89579 0989 ···· 3455 879 123 9090 ···· 2342 9897 765 5746 ···· 987 8098 8008 80099 ···· ···· 需求： 計算這一組
2020-03-11 16:42:21
原创 基於 Spring Cloud Alibaba 構建一個微服務
文章目錄基於Spring Cloud Alibaba構建一個微服務微服務方案簡介Spring Cloud Alibaba服務註冊與發現CAPZookeeper 是個 CP 系統，強一致性理想的註冊中心服務間通信服務熔斷降級路由網關
2020-03-11 16:42:21