原创 mesos運行spark框架
所在的團隊需要引入mesos平臺以便運行spark並行計算，花了幾天時間部署並測試運行成功，將步驟及遇到的問題整理一下。1、mesos安裝。先是採用第三方的二進制包mesosphere安裝，然後配置。這一個叫簡單，下載到二進制包即可。然後
2018-08-30 15:06:40
原创 數據庫表被鎖
1、SELECT sid, serial#, username, osuser FROM v$session where sid = (select session_id from v$locked_object) 2、ALTER SYS
2018-08-30 15:06:38
原创 常用命令
1、解決類似whoami命令的故障，strace whoami，可以進行命令調用及參數的追蹤有助於問題的解決 2、lsof 查看進程/用戶等正在使用哪個或哪些文件（網絡文件也是文件的一種） 3、lsof -i:80，-i是查看網絡相關的命
2018-08-30 15:06:37
原创 spark算子整理
**************************************1、aggregate,第一個爲初始值，第二個爲element類型，第三個爲返回值，其中第一個和第三個可以爲自定義類型如同時返回元
2018-08-30 15:06:37
原创 複製表結構創建新表
create table HAD_LANE_NODE_CURVATURE as select * from had_test_hp_o.HAD_LANE_NODE_CURVATURE where 1=2;
2018-08-30 15:06:37
2
原创 寫shapefile字段名導致的異常
java的maven工程將oracle數據庫中的MESH表導出爲shapefile，導出的字段中有min_longitude,min_latitude,max_longitude,max_latitude
2018-08-30 15:06:36