原创 實現Xshell斷開連接情況下Linux命令繼續執行（nohup命令）
實現Xshell斷開連接情況下Linux命令繼續執行 1、將原命令語句改爲：nohup 命令語句 & 2、回車執行，再回車，窗口中會顯示一個進程號 3、如果中途想關閉，可執行：kill -9 進程號。如果想查看命令執行情況，可執行：cat
2020-06-30 21:30:06
原创 Spark sql :load和save操做--spark學習筆記之一
一、load和save基礎操作 對於spark SQL的DataFrame來說，無論是從什麼數據源創建出來的DataFrame，都有一些共同的load和save操作。 load操作主要用於加載數據，創建出DataFrame； save操作
2020-06-30 21:30:05
原创 跟老齊學python數據分析學習筆記（之一）
第一章 numpy基礎和應用 1.1 數組對象基礎 1)numpy版本查詢 import numpy as np np.__version__ 2)數組元素的類型， 新建數組： data = np.array([1,2,3,4,5])
2020-06-30 21:30:05
原创 修改表屬性、註釋及分區情況
1.修改表的屬性，內部表和外部表； ALTER TABLE tablename SET TBLPROPERTIES ('EXTERNAL'='TRUE'); 2.修改表的字段註釋； alter table tablename cha
2020-06-30 21:30:05
原创 如何提交jar包到集羣上執行？如何把電腦本機路徑的文件上傳到服務器上
如何提交jar包到集羣上執行？ spark-submit --class 包名+類名 /home/****/myScala.jar> rizhi.txt 其中：spark-submit 是命令 –class 包名+類名， 包名爲
2020-06-30 21:30:05
原创 驗數時需要去掉分隔符前後在數據，怎麼辦？
在這裏插入圖片描述 1000000#食品飲料#136.4352001841384，想用電子表格提取#前中後的字符串： step1:=MID(H5,FIND("#",H5)+1,50) 得到結果 食品飲料#136.435200184
2020-05-17 11:53:29
原创 scala開發新建文件，不顯示scala class
scala開發新建文件，不顯示scala class 首先，鼠標選定項目，單擊右鍵，，其次，選擇Add FrameWorks Support,彈出第二張圖，選擇scala。圖片展示如下：（改方法僅限配置好plugin，選擇文件夾爲
2020-05-13 11:43:02
原创 如何將hive中字符串解析（字符串的連接、解析）
場景：（1）將表中的字段轉化成json數組，合併列，然後再合併行。建測試表，1315 、11729爲表中某字段的值分屬於不同的行，123、456爲另一字段的對應行數字。準備測試數據，樣例如下：[{"c1":"1315","c2":"123
2019-08-28 21:50:48
原创 深度學習中Multinoulli分佈
原文鏈接：https://zhuanlan.zhihu.com/p/32482774 Multinoulli 分佈 Multinoulli 分佈是多項式分佈（multinomial distri
2019-08-05 20:07:37
23
原创 跟老齊學pythonP127 2.5.1 做猜數字遊戲代碼調試
作爲圖書發佈，我覺得最基本的標準是應該保證代碼正確 如果按原書代碼執行，則報錯如下：TypeError: '>' not supported between instances of 'str' and 'int' 作爲初學者磨滅了學習興
2019-07-30 21:57:20
原创 跟老齊雪python數據分析學習筆記（之一）
第一章 numpy基礎和應用 1.1 數組對象基礎 1)numpy版本查詢 import numpy as np np.__version__ 2)數組元素的類型， 新建數組： data = np.array([1,2,3,4,5])
2018-12-09 22:35:07
原创 跨集羣拷貝表
hadoop distcp –m 200 -update –skipcrccheck /user/集市名稱/數據庫名稱/table_a hdfs://BJHTYD-Hope-27-202.hadoop.jd.local:8020/user
2018-12-07 13:26:29
原创 [Shell]使用find命令查找最近修改過的文件
find命令：在指定的目錄搜索文件 常用的option： -name：指定文件名，或者使用“*.py”來指定文件的後綴名，如在/home目錄下搜索所有py文件 [cpp] view plain copy find /home -nam
2018-12-07 13:26:29
原创 HIVE簡明教程學習筆記（一）——數據庫及表的操作HIVE DDL
1.創建數據庫 create database if not exists aa_db; 2.查看數據庫定義 describe database aa_db; 3.查看數據庫列表 show databases; 4.刪除數據庫 drop
2018-11-22 07:35:27