原创 [leetcode] 移除元素
推薦 刪除排序數組中的重複項 題目 給定一個數組 nums 和一個值 val，你需要原地移除所有數值等於 val 的元素，返回移除後數組的新長度。 不要使用額外的數組空間，你必須在原地修改輸入數組並在使用 O(1) 額外空間的條
2020-06-24 08:29:10
原创 [hive] 經典sql題及答案(一)
推薦: 經典sql題及答案(二) 經典sql題及答案(三) 題目部分 第1題 我們有如下的用戶訪問數據 userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03
2020-06-24 07:24:19
4
原创 [leetcode] 最長公共前綴
題目 編寫一個函數來查找字符串數組中的最長公共前綴。 如果不存在公共前綴，返回空字符串 “”。 示例 1: 輸入: ["flower","flow","flight"] 輸出: "fl" 示例 2: 輸入: ["dog","ra
2020-06-24 07:24:19
原创 [hbase] hbase的讀寫流程步驟
寫在前面 hbase讀的速度比寫的速度慢,是一個讀慢寫快的數據庫,因爲hbase的讀的時候要做很多事. 寫流程 1）Client 先訪問zookeeper，獲取hbase:meta 表位於哪個Region Server。 2）訪
2020-06-24 07:24:19
原创 [hadoop] hadoop的優缺點總結
hadoop有以下四個優點: 1）高可靠性：Hadoop底層維護多個數據副本，所以即使Hadoop某個計算元素或存儲出現故障，也不會導致數據的丟失。 2）高擴展性：能在廉價機器組成的集羣間分配任務數據，可方便的擴展數以幹計的節點。
2020-06-24 07:24:19
6
原创 [hbase] hbase寫操作時對wal和memstore的操作順序
一般我們說先記錄在預寫日誌(wal),然後再寫入緩存(memstore),實際上我們從源碼中可以發現有一些小小的偏差. 實際操作順序應該是: 1 hbase做寫操作時,先記錄在本地的wal(Write-Ahead logfile)
2020-06-24 07:24:19
原创 [leetcode] 整數反轉
題目 給出一個 32 位的有符號整數，你需要將這個整數中每位上的數字進行反轉。 示例 1: 輸入: 123 輸出: 321 示例 2: 輸入: -123 輸出: -321 示例 3: 輸入: 120 輸出: 21 注意: 假
2020-06-24 07:24:19
原创 [hadoop] hdfs的併發寫問題
總所周知,hadoop的hdfs組件有一個缺點就是不支持併發寫入,不支持文件隨即修改. 但是很多人不太瞭解併發寫入是指什麼. 有以下兩種情況 兩個客戶端同時向hdfs上傳不同名文件: 全都上傳成功. 兩個客戶端同時向hdfs上
2020-06-24 07:24:19
原创 [hadoop] HDFS的新節點上線和舊節點退役
新節點上線 1 準備一個全新的節點,使用root賬戶登錄 2 修改ip和host主機名 3 在管理節點端配置SSH免密碼登錄 4 關閉防火牆 5 安裝JDK,解壓hadoop安裝包並配置相關環境變量 6 將以前節點的hadoop配
2020-06-24 07:24:19
原创 [hadoop] yarn的組成架構及其各角色的作用
yarn工作機制詳細步驟及流程圖: https://blog.csdn.net/a755199443/article/details/101381503 yarn是hadoop2.0後推出的資源調度框架,它由以下部分組成: 1）R
2020-06-24 07:24:19
原创 [hadoop] HDFS組成架構及其作用
1)NameNode:就是Master,它是一個主管,管理者 1 管理HDFS的目錄結構; 2 配置副本策略 3 管理數據塊(Block)映射信息 4 處理客戶端讀寫請求 2)DataNode:就是Slave,NameNode下達
2020-06-24 07:24:19
原创 [hive] 總結hive只能有一個reduce運行的情況及改善方法
推薦 hive的調優手段總結 hive在什麼情況下只能有一個reduce運行 有時不管怎麼設置調整reduce個數的參數，任務中一直都只有一個reduce任務,此時所有數據都發往一個reduce會導致任務執行緩慢甚至失敗,因此實際
2020-06-24 07:24:19
原创 [hadoop] 重新格式化HDFS的詳細步驟
啓用自動故障轉移工作機制時 此時active與standby狀態會由zkfc管理. 1 刪除兩個目錄 core-site.xml配置文件中指定的目錄(默認位置在/tmp目錄) <property> <name>dfs.na
2020-06-24 07:24:19
原创 [hadoop] DataNode的工作流程和工作機制
HDFS的新節點上線和舊節點退役: https://blog.csdn.net/a755199443/article/details/101422552 工作流程 1 DataNode啓動後先向NameNode註冊 2 註冊成功
2020-06-24 07:24:19