原创 數據庫中字典的截取
ORACLE中字段的截取方法 通常使用Instr()和substr()函數 instr()其語法爲： instr(sourceString,destString,start,appearPosition) instr（'源字符串'
2020-05-21 18:08:24
原创 delete和truncate 之間不可不說的祕密
1、命令類型 delete是數據操作語言（DML）命令；而truncate是數據定義語言（DDL）命令。 2、功能 delete命令根據指定的SQL語句從表中刪除單個，多個或所有記錄； 而truncate命令從數據庫中刪除所有記
2020-05-13 21:08:09
原创 mysql常見的優化方法及慢查詢sql排查
1、慢查詢日誌查看方法： show variables like '%slow_query_log%'; 臨時開啓：set global slow_query_log=1; 內存裏開啓 exit退出， 重啓mysql後關閉ser
2020-05-08 06:38:11
原创 避免索引失效原則
1、避免索引失效原則 1、複合索引，不要跨列或者無序使用（最佳左前綴） 2、複合索引，儘量使用全索引匹配 3、不要在索引上進行任何操作（比如：對索引進行類型轉化，加減乘除計算等） 4、複合索引不能使用不等於（！= <>）或者is
2020-05-08 06:38:11
原创 mysql 索引優化案例-單表，雙表，多表優化
1、創建複合索引的時候不要跨列使用(where和order by 拼起來會產生跨列效果) create table test( a1 varchar(20), a2 varchar(20), a3 varchar(20), a4
2020-05-02 20:55:19
原创 mysql 優化之索引
1、sql優化： 原因：性能低，執行時間太長，等待時間太長、sql語句欠佳，索引失效、服務器參 數設置不合理 編寫過程： select distinct from join on where group by having
2020-05-01 18:34:19
原创 linux中-a 到-z的解釋
萬物皆可！（非） [ -a FILE ] 如果 FILE 存在則爲真。 [ -b FILE ] 如果 FILE 存在且是一個塊特殊文件則爲真。 [ -c FILE ] 如果 FILE 存在且是一個字特殊文件則爲真。 [ -d FILE ]
2020-04-23 19:28:52
原创 sed對文本內容進行替換，刪除
sed -i /hello/d /file.txt #刪除文件中有關鍵字“test”的行 sed -i /^$/d test.txt #刪除一個文件中所有空行 sed -i /^#/d test.txt #刪除一個
2020-04-16 12:08:46
原创 使用expect實現跨主機免密傳輸
#!/usr/bin/expect set timeout 1 set filename [lindex $argv 0] set ip [lindex $argv 1] spawn scp -l 1000 root:/bigd
2020-04-01 23:42:35
原创 shuffle原理 及優化策略
1、shuffle操作原理： 在Spark中，數據通常不會跨分區分佈，以滿足特定操作的需要。在計算期間，單 個任務將對單個分區進行操作——因此，要組織單個reduceByKey 的計算任務要執行 的所有數據，Spark需要執行一個
2020-03-30 09:09:53
2
原创 詞頻統計-shell版
題目來源：leecode 需求： 寫一個 bash 腳本以統計一個文本文件 words.txt 中每個單詞出現的頻率。 爲了簡單起見，你可以假設： words.txt只包括小寫字母和 ’ ’ 。 每個單詞只由小寫字母組成。 單詞間
2020-03-25 01:17:16
原创 sed 文件追加字符
sed -i '$ s/$/64/' 111.txt # 在最後一行同行追加字符串 sed '1i 64' 111.txt #這是在第一行前添加字符串 sed '$i 64' 111.txt #這是在最後一行行前添加字符串
2020-03-05 20:23:17
原创 scp 傳輸 限速
scp 傳輸的時候數據太大 會嚴重佔用帶寬，導致其他傳輸受到影響 需要限制傳輸速度 scp -l 8000 .file.txt …省略其他… 差不多 是1M/s
2020-02-26 22:00:35
原创 md5 加密 加鹽 解析
我們知道，如果直接對密碼進行散列，那麼黑客可以對通過獲得這個密碼散列值，然後通過查散列值字典（例如MD5密碼破解網站），得到某用戶的密碼。 加Salt可以一定程度上解決這一問題。所謂加Salt方法，就是加點“佐料”。其基本想法是這
2020-02-26 00:07:52
原创 Kafka作爲源數據進行數據流計算
#!/user/bin/env python3 from __future__ import print_function import sys from pyspark import SparkContext from pys
2020-02-22 12:06:34