原创 java8 lambda stream學習
1. 簡介 接口、匿名內部類可以採用lambda實現 格式 參數列表括號括起來 -> 功能體 stream則讓Java能夠像sql一樣操作集合等數據 lambda需要函數式接口的支持 函數式接口: 接口中只有一個抽象
2020-07-05 19:09:17
原创 shell 總結3
$HOME/.config/user-dirs.dirs 爲gnome的默認軟件目錄 可以自己設置 雙屏下切換焦點不用來回的移動鼠標了 #! bin/python import subprocess # just a helper f
2020-06-30 06:14:59
4
原创 /etc/passwd,/etc/groups,/etc/shadow 含義
/etc/passwd 可以查看有多少個用戶（或者/home 下有多少文件夾），各字段含義 root:x:0:0:root:/root:/bin/bash 用戶名:密碼:ID:用戶組ID:註釋:家目錄:登錄使用的shell 密碼以x替
2020-06-30 06:14:59
原创 sparkStreaming 消費下沉 kafka 以及調優
sparkStreaming 消費下沉 kafka 以及調優 1 sparkStreaming 消費kafka 主要方式有兩種：receiver方式、Direct方式 Receiver方式利用kafka高階的api，將數據存儲到e
2020-06-30 06:14:48
原创 idea 子包分級設置
按理說com.utils.tool是父包com.utils.tool包括着 client和conf但是現在他們在同一行看着很難受 解決辦法 點擊齒輪⚙️ 取消flattern paclage前面的對號即可 下面自動變成 compact
2020-06-30 06:14:48
原创 Expect 自動化交互命令
cat login.expect #!/usr/bin/expect # expect 接受命令通過這種方式傳進來 set HOSTNAME [lindex $argv 0] set USERNAME [lindex $argv
2020-06-30 06:14:48
原创 多種語言版本的wordcount
shell : cat xxx | sort | uniq -c | awk '{print $2,$1}' spark: scala> sc.textFile("/home/lzq/test").map((_,1)).reduceB
2020-06-30 06:14:48
原创 給定一個非空整數數組，除了某個元素只出現一次之外，其餘每個元素均出現兩次，找出那個只出現一次的元素
採用異或的解法： java中異或表示爲^ 異或 1. 滿足交換律：A^B = B^A 2. 滿足結合律：(A^B)^C = A^(B^C) 3. 0^A = A 4. A^A = 0 奇數個數字，最後只剩那單個數字 class solu
2020-05-11 02:45:02
1
原创 Docker、Docker-compose、Docker-swarm、Kubernetes區別
Docker一種容器化的計數，底層採用的unix的一些技術，比完整的機器如vmware virtualbox虛擬化出來的機器更加輕量化 Docker-compose compose（組成），從翻譯大概能看出來 Docker-compose
2020-04-25 20:10:10
原创 mbp使用總結
前段時間購買了一臺16 寸mbp,從蘋果官網買的,不得吐槽一下蘋果官網買東西就是慢,從此叛逃用了三年的linux陣營,不過我還是把mbp看作是一臺特殊的linux 從linux換到mbp主要是圖mbp的屏幕,眼睛看着舒服,其次是mbp的觸
2020-03-27 01:55:15
原创 關於flink watermark的一些理解
關於flink watermark的一些理解 1 首先介紹flink中的時間概念: flink中有三種時間概念,分別是Event time、ingestion time、processing time 從下圖可以很方便的看出來
2020-03-27 01:55:15
原创 nc netcat ncat 拒絕連接 connection refuse
期間做socket測試數據 大概就是這麼個樣子 nc -lk 999 但是啓動程序總是報錯拒絕連接 connection refuse Caused by: java.net.ConnectException: Connection r
2020-02-21 11:02:51
原创 idea 自動生成返回值以及返回值的類型
在idea中寫代碼時，只需要寫後半部分即可 ,即 等號後面的那一部分 剩下的都交給idea好了，idea會自動判斷返回值的類型，以及建議返回值的名稱 具體操作 寫完代碼再行尾 使用快捷鍵 ctrl alt v 或者乾脆 在行尾加 .var
2020-02-21 11:02:51
原创 wordcount
shell : cat xxx | sort | uniq -c | awk '{print $2,$1}' spark: scala> sc.textFile("/home/lzq/test").map((_,1)).reduceB
2020-02-21 11:02:51
原创 ambari 添加自定義服務
1 告訴ambari添加什麼服務 /var/lib/ambari-server/resources/stacks/HDP/2.5/services 目錄下添加 服務名稱 比如TEST 然後在目錄下新建metainfo.xml cat /
2020-02-21 11:02:51