原创 MapRdeduce框架原理
MapReduce數據流 數據切片與MapTask並行度機制決定 MapTask的並行度決定Map階段的任務處理併發度，進而影響到整個Job的處理速度。 MapTask並行度決定機制 數據塊：Block是HDFS物理上把數據
2020-07-02 20:10:29
原创 WIN10 無法重命名文件 提示系統找不到指定位置
如圖，提供兩種解決方案，均來自知乎。 ① https://www.zhihu.com/question/294058991/answer/490334135 ② https://www.zhihu.com/question/3977
2020-07-02 20:10:29
原创 leetcode-460LFU緩存
https://leetcode-cn.com/problems/lfu-cache/submissions/ 方法一：哈希 + 平衡樹 時間複雜度：get 時間複雜度 O(logn)，put 時間複雜度 O(logn) 空間複雜度：O(
2020-07-02 20:10:29
原创 每個人都是一艘可以遠航的船——退役記
昨天結束了ccpc-hb省賽，回去的路上，下了雨，有點冷，心裏也有點空。 早上起來整個人也是空空的，不知道爲什麼，那就寫點什麼吧，記錄下自己的這段時光。 寫點什麼。 一個人所擔心的事情大概率會發生在一些重要時刻。 今年是hb第三次省賽了，
2020-06-08 10:32:59
原创 leetcode-42. 接雨水
https://leetcode-cn.com/problems/trapping-rain-water/ 單調棧應用，詳細講解 點我 class Solution { public: int trap(vector<int>&
2020-04-06 03:35:48
原创 刷題中易忘點/知識點/技巧 總結
set的底層實現爲平衡二叉樹(紅黑樹)，有序結構，可配合結構體(重載運算符)使用，相關操作的時間複雜度爲O(logn) map的插入方法之一：(c++11標準) map.insert(make_pair(_T1,_T2))
2020-04-06 03:35:48
原创 Hadoop之HDFS(筆記)
1.1 HDFS產出背景及定義 1.2 HDFS優缺點 1.3 HDFS組成架構 1.4 HDFS文件塊大小（面試重點） 2 HDFS的Shell操作（開發重點） 1．基本語法 bin/hadoop fs 具體命令
2020-02-21 20:46:10
1
原创 Hive的基本概念，基本操作
基本數據類型 Hive數據類型 Java數據類型 長度 例子 TINYINT byte 1byte有符號整數 20 SMALINT short 2byte有符號整數 20 INT in
2020-02-21 20:45:58
原创 Hive簡介
第1章 Hive基本概念 1.1 什麼是Hive Hive：由Facebook開源用於解決海量結構化日誌的數據統計。 Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張表，並提供類SQL查詢功能。 本質是：將H
2020-02-21 20:45:57
原创 Educational Codeforces Round 82 (Rated for Div. 2)ABC
A 直接暴力找兩個一之間的間距 #include<bits/stdc++.h> using namespace std; typedef long long ll; const int N = 1e5 + 100; const int
2020-02-21 20:45:57
原创 Comet OJ - Contest #16 A,B
https://cometoj.com/contest/84 A 根據中國剩餘定理，x在模M= 23 X 233 x 2333下必然存在唯一解。那麼我們只需要將x從1開始不斷累加1,至多迭代M次直到找到符合條件的x即可。 #includ
2020-02-21 20:45:57
原创 Yarn資源調度器
Yarn是一個資源調度平臺，負責爲運算程序提供服務器運算資源，相當於一個分佈式的操作系統平臺，而MapReduce等運算程序則相當於運行於操作系統之上的應用程序。 Yarn基本架構 YARN主要由ResourceManager、NodeM
2020-02-21 20:45:57
原创 （轉）大數據開發工程師總結的的大數據學習路線
經常有初學者在問，自己想往大數據方向發展，該學哪些技術，學習路線是什麼樣的，覺得大數據很火，就業很好，薪資很高。 如果自己很迷茫，爲了這些原因想往大數據方向發展，也可以，那麼我就想問一下，你的專業是什麼，對於計算機/軟件，你的興 趣是什麼
2020-02-21 20:45:57
原创 Hadoop之MapReduce(筆記)
MapReduce定義 MapReduce優缺點 缺點 MapReduce核心思想 1）分佈式的運算程序往往需要分成至少2個階段。 2）第一個階段的MapTask併發實例，完全並行運行，互不相干。 3）第二個階段
2020-02-21 20:45:57
1
原创 解決“正在解析主機”上網慢問題
背景 如題，最近上網時，打開一網頁總是很慢 每次都出現 "正在解析主機"的字樣，然後反應好幾秒纔可以。 之前都是秒開網頁的，雖然用的是無線網，但是家用網百M也夠了。 於是 開始嘗試解決這個問題。 思考 網頁解析慢通常是DNS的問題，如果D
2020-02-21 20:45:57