原创 spark讀取MySQL大Table的效能問題
在測試從Spark Shell讀取MySQL一張Large Table時，發生了Out of memory和connection timeout問題，記錄一下處理的過程： MySQL Table資料筆數：1400萬筆左右 Spark Cl
2020-06-16 04:19:48
1
原创 html子頁面iframe傳入中文亂碼解決方案
往iframe傳入中文時候，直接傳入或是使用encodeURI,encodeURIComponent得到的都是亂碼， 並且即使使用了decodeURI也沒作用。 此時只能在傳入前使用unescape()對字符進行編碼，解碼使用unesca
2020-06-16 04:19:48
原创 linux中添加重啓自動
今天又要維護新的服務器了，翻了一下網上Redis自動啓動，結果配置一大堆，其實很多沒什麼用，也不好理解，所以乾脆把我自己的記錄給寫這裏給大家參考。 第一步：創建Redis啓動服務 在系統開機啓動項目錄 /lib/systemd/syste
2020-06-16 04:19:48
原创 python運維
1、zipfile壓縮 import zipfile import tarfile #壓縮文件或文件夾爲zip def zip_dir(srcPath,dstname): zipHandle=zipfile.ZipFile(d
2020-06-16 04:19:48
1
原创 C# 中byte數組轉成字符出現問號解決方法
問題描述 在C#中使用Encoding將字節數組變成字符的時候，會將特殊字符（控制字符）全部變成問號。會出現一個現象， 將文件讀取到字節後，用Encoding變成字符後，在變成字節流。此時的字節流和
2020-06-16 04:19:48
3
原创 hadoop(2):修改hosts
1、centos6 [root@centos6 ~]$ hostname # 查看當前的hostnmae centos6.magedu.com [
2020-06-16 04:19:48
原创 pandas輸出xls文件的自定義樣式
https://xlsxwriter.readthedocs.io/example_pandas_conditional.html
2020-06-16 04:19:48
原创 sql(5):24個小時單獨統計
SELECT 0 hour UNION ALL SELECT 1 hour UNION ALL SELECT 2 hour UNION ALL SELECT 3 hour UNION ALL SELECT 4 hour UNION AL
2020-06-16 04:19:48
原创 java將json寫入mongodb中
DBObject jsOB=(DBObject)com.mongodb.util.JSON.parse(strJson); collection.insertOne("data",jdOB);
2020-06-16 04:19:48
原创 hadoop(1):免密登入
每次我們啓動hadoop集羣的時候需要去在每臺機器上啓動相應節點，這樣我們來回切換機器很麻煩，如果我們在一臺機器上就可以連接登陸其他機器的話，就可以在本臺機器上啓動部署在其他機器上的所有服務了，但是直接連接的話會讓你重複輸入密碼，也是很麻
2020-06-16 04:19:48
1
原创 IIS中請求URL過長出現被攔截
IIS7及以上中URL長度過長的時候，會出現被攔截。需要兩步完成： 一、第一步 <system.web> <httpRuntime maxQueryStringLength="2097151"/> </system.web> 二、第
2020-04-27 20:23:57