原创 伴生類伴生對象和apply的使用
// 定義類 對象的半生類 class bansheng { val name = "哈哈哈" val age = 123 // 正常私有的方法 private val gender = "北京" // 私
2020-06-30 11:32:02
原创 Spark：java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries!
Spark多任務提交運行時候報錯。 java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries! at sun.nio
2020-06-22 01:13:19
原创 Supervisor 監控
基本： supervisord 是服務端。 supervisorctl 是客戶端。 supervisord啓動成功後，可以通過supervisorctl客戶端控制進程，啓動、停止、重啓。 運行supervisorctl命令，不加參數，會進
2020-06-22 00:13:14
2
原创 scala中的option、option[T]、Right和Left
前提：當我們設置一個數據庫時，一個名字（String）對應一個年齡(Int) 當我輸入一個名字的時候來查詢這個人的年齡的時候，如果輸入一個沒有在數據庫中的人名，那麼該如何返回？ 返回0？很明顯是不可以的 拋出異常？但是丟失值不可能認定爲異
2020-06-22 00:13:12
原创 UnsupportedEncodingException是什麼？
轉碼異常！！ 例如： try { request.setCharacterEncoding("utf-8"); } catch (UnsupportedEncodingException e1) { // TODO Auto-gener
2020-06-22 00:13:12
原创 troubleshooting 之解決yarn-cluster模式的JVM棧內存溢出無法執行
sparkCluster模式提交方式 spark-submit腳本提交yarn-cluster模式， 首先由腳本，提交提交spark Application 到ResourceManager上，然後ResourceManager找到一個N
2020-06-22 00:13:01
原创 scala中ArrayBuffer簡單使用
import scala.collection.mutable.ArrayBuffer /** * 與Array區別： * 1、Array是不可變的，不能直接地對其元素進行刪除操作，只能通過重賦值或過濾生成新的Array的方式
2020-06-22 00:12:57
原创 用JsonParser解析json樹模型
解析json字符串可以像解析DOM一樣，解析每一個節點。Gson的jar包中提供了JsonParser類，專門用於解析json字符串的，注意只是json節點的內容解析出來，並不像前兩節把整個json字符串反序列化爲一個對象。 pu
2020-06-16 03:38:20
原创 Hive分區表新增字段注意事項
分區表新增字段注意事項 對Hive表新增字段時，官方給出語法結構如下 ALTER TABLE table_name [PARTITION partition_spec] ADD|REPLACE CO
2020-06-12 15:13:12
原创 HDFS之delete(Path f,boolean recursive)
使用FileSystem中的delete()方法可以永久性的刪除文件或目錄。 public boolean delete(Path f,boolean recursive) throws IOException 如果 f 是一個空目錄，那
2020-06-10 12:28:33
原创 scala中伴生對象和伴生類
特徵：一個單例對象未必是一個伴生對象，但是一個伴生對象一定是一個單例對象 與類名相同並且用Object修飾的對象叫做伴生對象，同樣類被稱爲是這個單例對象的伴生類，類和伴生對象之間可以互相訪問對方的私有方法和屬性 注意：必須在同一個源文件裏
2020-06-09 01:12:15
原创 mapreduce中的setup（）與cleanup（）的使用
hadoop中的MapReduce框架裏已經預定義了相關的接口，其中如Mapper類下的方法setup()和cleanup()。 setup()，此方法被MapReduce框架僅且執行一次，在執行Map任務前，進行相關變量或者資源的集中初
2020-05-19 21:23:19