原创 hbase語句彙總、sql sever語句彙總、mysql語句彙總
hbase hbase客戶端：dbvis-multi.exe 用db時不會寫Hbase語句，有些語句怕自己忘記，記錄在下面： 查某個字段值取特定值時的記錄 select * from "table" where "time"='2
2018-09-21 01:07:45
原创 使用Notepad++將多行數據合併成一行
按Ctrl+F，彈出“替換”的窗口； 選擇“替換”菜單； “查找目標”內容輸入爲：\r\n； “替換爲”內容爲空； “查找模式”選擇爲正則表達式； 設置好之後，點擊“全部替換”，即可將多行數據合併成一行。
2018-09-21 01:07:45
原创 如何開啓和關閉spark集羣的某一個節點?
登到此節點上 到如下路徑，一般spark都裝在如下位置 cd /usr/local/spark/sbin 開或者關節點 #關閉節點 stop-slave.sh #開啓節點 start-slaves.sh
2018-09-21 01:07:45
1
原创 如何設置定時任務（spark-submit,crontab）？
設置定時任務，讓腳本定時執行，在Linux中，spark-submit提交任務時，可使用crontab來實現。 1. 假設已經安裝了crontab； 2. 創建sh文件，存放需要執行的spark-submit命令，如： （1）切換到
2018-09-21 01:07:45
原创 如何關機時讓腳本還一直執行下去？
在xshell上提交一個單機的python任務時，電腦關閉，任務就會斷，可以通過設置定時任務的方式，也可以用nohup的方式提交： 提交時的命令： nohup python 1.py > 1.txt & #會返回一個任務號 1
2018-09-21 01:07:45
原创 如何在linux系統上設置python環境變量
比如新裝了一個python版本，我們想跑任務時讓系統默認使用這個版本，可以這樣做： 在xshell上執行如下命令： vim ~/.bashrc 在如上的結果文件里加如下一句： export PATH=/software/py
2018-09-21 01:07:45
原创 spark dataframe筆記 -- 按照dataframe某一列的數值排序，並增加一列索引（1）升序排
腳本如下： #!/usr/bin/python # -*- coding: utf-8 -*- """ @author: @contact: @time: @context:按照dataframe某一列的數值排序，並增加一列索引（1）
2018-09-20 09:19:29
2
原创 spark dataframe筆記 -- 對dataframe一列值保留4位小數
腳本如下： #!/usr/bin/python # -*- coding: utf-8 -*- """ @author: @contact: @time: @context:對dataframe一列值保留4位小數 """ from _
2018-09-20 09:19:29
25
原创 list如何不通過循環就打印出中文
腳本如下： #!/usr/bin/python # -*- coding: utf-8 -*- """ @author: @contact: @time: """ list = {'channel_id': -3, 'name': u
2018-09-20 09:19:29
原创 spark dataframe筆記 -- 按照dataframe某一列的數值排序，並增加一列索引（2）降序排
腳本： #!/usr/bin/python # -*- coding: utf-8 -*- """ @author: @contact: @time: @context:按照dataframe某一列的數值排序，並增加一列索引（2）降序
2018-09-20 09:19:29
3
原创 spark本地環境配置教程
我算是僥倖吧，我環境配置很順利，我好朋友的也配置成功了。 步驟如下： 下載spark，我用的是2.0.2 spark官網 按照下面鏈接安裝（裏面有一步java jdk沒寫，我也記不住了，有報錯再查報錯吧） spark安裝
2018-09-20 09:19:29
2
原创 如何開啓hbase?
jps後發現HMaster不在,那麼需要開啓： 進入hbase主節點; 在界面輸入Start，按tab鍵; 看到命令“start-hbase.sh”，執行此命令.
2018-09-20 09:19:29
2
原创 hbase語句彙總
hbase客戶端：dbvis-multi.exe 用db時不會寫Hbase語句，有些語句怕自己忘記，記錄在下面： 做實驗時需要臨時從其他表裏導入數據造一張新表，可以這樣： 在xshell裏進入hbase主節點的環境： hbase s
2018-09-20 09:19:29
2