原创 牛客網常見算法思路 (十一)大數據處理
有用麻煩點個贊哦 解題關鍵 1、分而治之，通過hash將大任務分流到機器 2、常用的hashMap或bitMap 難點：通訊、時間、空間的估算 這類型的題目適合面試不適合筆試 案例一 請對10億個ipv4地址進行排序，每個ip
2020-06-20 05:42:00
原创 牛客網常見算法思路 (十二)動態規劃
有用麻煩點個贊哦 如何理解動態規劃 經典題：給定一個數組arr，arr中所有的值都爲正數且不重複。每個值代表着一種面值的貨幣，每種面值的貨幣可以使用任意張，在給定一個整數aim代表要找的錢數，求換錢有多少種哦方式 本題可以體現
2020-06-20 04:33:48
1
原创 大數據學習之問題解決+經驗+調優方法整理(持續更新)
文章目錄1 Hadoop1.1 MapReduce執行速度過慢1.2 Yarn節點負載不均衡1.3 Yarn節點上任務數太多，資源利用率太高1.4 Hdfs參數調優1.5 目錄配置1.6 Hadoop宕機（項目遇到）2 HBase
2020-06-20 04:33:48
原创 牛客網常見算法思路 (七)二叉樹
案例一 有用麻煩點個贊哦 遞歸和非遞歸方式實現前中後序遍歷 遞歸：比較簡單不說了 非遞歸： 先序 申請一個棧stack，頭結點壓入stack中，彈出時若右子節點不爲空則將右子節點壓入棧，再若左子節點不爲空則將左子節點壓入棧中，
2020-06-20 04:33:48
原创 Sqoop使用簡要介紹
有用麻煩點個贊哦 簡介 關鍵詞 sqoop = sql to hadoop Sqoop 是一款開源的工具，主要用於在 Hadoop(Hive)與傳統的數據庫(mysql、postgresql…) 間進行數據的傳遞，可以將一個關
2020-06-20 04:33:48
原创 大數據場景經典問題
文章目錄1、海量ip數據，取頻率最高(種類有限)2、海量日誌搜索記錄，取頻率最高（種類無限）3、大文件topN詞頻4、多個大文件，詞頻排序5、兩個大文件找共同（是否允許誤差？）6、內存限制下找不重複數7、海量數據查找是否存在某個數
2020-06-20 04:33:48
原创 shell腳本中，單引號雙引號的區別
（1）單引號不取變量值 （2）雙引號取變量值 （3）反引號`，執行引號中命令 （4）雙引號內部嵌套單引號，取出變量值 （5）單引號內部嵌套雙引號，不取出變量值 測試 #!/bin/bash do_date=$1 echo '$d
2020-06-20 04:33:48
原创 大數據量處理方法大總結
一、Bloom filter 適用範圍： 可以用來實現數據字典，進行數據的判重，或者集合求交集 原理： 位數組+k個獨立hash函數。將hash函數對應的值的位數組置1，查找時如果發現所有hash函數對應位都是1說明存在，
2020-04-11 21:56:49
原创 Hive使用Tez引擎時被NodeManager殺死進程問題
運行Tez時檢查到用過多內存而被NodeManager殺死進程問題： Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shut
2020-03-07 08:25:45
原创 shell中單引號雙引號的區別
（1）單引號不取變量值 （2）雙引號取變量值 （3）反引號`，執行引號中命令 （4）雙引號內部嵌套單引號，取出變量值 （5）單引號內部嵌套雙引號，不取出變量值 測試 #!/bin/bash do_date=$1 echo '$d
2020-03-07 08:25:45
原创 跳錶介紹 + Redis爲什麼用跳錶而不用平衡樹
https://mp.weixin.qq.com/s?__biz=MzA4NTg1MjM0Mg==&mid=2657261425&idx=1&sn=d840079ea35875a8c8e02d9b3e44cf95&scene=0#
2020-02-26 17:29:57
原创 JVM、JRE、JDK的區別
原文鏈接 https://blog.csdn.net/qq_35326718/article/details/79443911 有用麻煩點個贊哦 其實很多 Java 程序員在寫了很多代碼後，你問他 jre 和 jdk 之間有什
2020-02-24 10:04:32
原创 Mysql優化、調優詳解
有用麻煩點個贊哦 文章目錄1、mysql優化分析流程2、索引優化分析2.1、關於索引2.2、性能分析2.3、Explain的使用2.3.1 作用：2.3.2通過Explain瞭解系信息：2.3.3 Explain 表字段(部分
2020-02-24 10:04:32
原创 Azkaban簡要總結
有用麻煩點個贊哦 1、定義 關鍵詞：可定時，監控並執行任務調度，設置依賴關係決定順序 Azkaban 是由 Linkedin 公司推出的一個批量工作流任務調度器，主要用於在一個工作流 內以一個特定的順序運行一組工作和流程，它的
2020-02-24 10:04:32
原创 Python字符串的函數功能
有用麻煩點個贊哦 #Python 字符串 函數功能 函數 功能 capitalize() 把字符串的第一個字符改爲大寫 casefold() 把整個字符串的所有字符改爲小寫 center(width)
2020-02-24 10:04:32