原创 Java工具-Json/Object/String相互轉換（FastJson）
前言 之前處理Json類型字符串. 對於相關細節有些疏忽了(Spark SQL 導入JSON文件). 藉此機會將Json類型字符串全部梳理一遍. Maven 引用 <dependencies> <dependency>
2020-07-07 11:41:11
2
原创 LetCode1560 (Offer29) - 數組中出現次數超過一半的數字
前言 題目描述 數組中有一個數字出現的次數超過數組長度的一半，請找出這個數字。 例如輸入一個長度爲9的數組{1,2,3,2,2,2,5,4,2}。由於數字2在數組中出現了5次，超過數組長度的一半，因此輸出2。如果不存在則輸出0。
2020-07-07 11:41:11
原创 (異常-Junit) The annotation @Test is disallowed for this location
問題 遇到這樣的異常情況. The annotation @Test is disallowed for this location 問題代碼: @Test public void testCase1{
2020-07-07 11:41:11
3
原创 (異常-Junit)程序包org.junit不存在
前言 Junit打包. 程序包org.junit不存在 [ERROR] COMPILATION ERROR : [INFO] ---------------------------------------------------
2020-07-07 11:41:11
原创 Spark 去掉前幾行 & 去掉表頭
前言 在運行例子的時候. 遇到需要去除表頭的情況. 將一般的幾種做法記錄於此. 文件 班級ID 姓名 年齡 性別 科目 成績 12 張三 25 男 chinese 50 12 張三 25 男 math 60 12 張三 25
2020-07-05 14:14:48
13
原创 Junit 與單元測試
前言 前段時間再寫Spark例子的時候使用到了單元測試. 再次總結下. Jar包引用 <!-- https://mvnrepository.com/artifact/junit/junit --> <dependenc
2020-07-05 14:14:48
原创 (Spark 異常) Failed to get broadcast_0_piece0 of broadcast_0
問題 之前開發的時候遇到. Failed to get broadcast_0_piece0 of broadcast_0異常. 20/07/03 15:58:50 ERROR Utils: Exception encounter
2020-07-05 14:14:48
10
原创 (Mac異常) localhost: ssh: connect to host localhost port 22: Connection refused
前言 今天啓動Mac上的Spark, 運行start-all.sh. 報出瞭如下異常類型. 個人猜測是本地端口的問題. # 測試命令 ssh localhost //ssh: connect to host localhost p
2020-07-04 04:31:19
原创 異常: No enclosing instance of type xx is accessible. Must qualify (Java 內部類)
異常 前言. 開發時候遇到內部類的問題. 異常 No enclosing instance of type SparkProgrammingGuide is accessible. Must qualify the alloc
2020-07-04 04:31:19
1
原创 Spark RDD QuickStart
前言 本章主要介紹Spark RDD的QuickStart. 並且記錄相關的操作過程與錯誤. Spark 集羣與本地集羣 本地集羣 配置spark-en.sh和slaves文件設置相關配置即可. 主要都在conf文件夾內. 其餘
2020-07-04 04:31:19
8
原创 (Mac) Mac上如何修改本地的hostname
前言 之前運行Spark的時候遇到一個問題. 由於本地hostname不對導致鏈接連不上. 將記錄操作記錄於此. 操作細節 Mac上配置Hostname主要包括2處. /etc/hosts localhost:~ sean$
2020-07-04 04:31:19
5
原创 Hexo博客搭建之基礎構建(Mac)
前言 基於目前的CSDN目前有些功能用起來不是特別舒服, 決定自己搭建一個博客. Hexo能夠生成一個靜態的博客, 此外還有Github免費倉庫和阿里雲OSS可選. 當然, 之前的朋友安利也安利過. 所以, 準備嘗試使用Hexo搭
2020-06-22 22:21:17
原创 Mac 安裝 NodeJS & NPM
前言 最近搭建Hexo，需要安裝npm和NodeJS. 遇到一點幺蛾子, 開帖記錄下. NodeJS內包括npm, 所以直接安裝npm即可. NodeJS官網http://nodejs.cn/download/ dmg安裝 (
2020-06-22 22:21:17
1
原创 Hexo博客搭建之主題構建(melody)
前言 上一章主要記錄和說明Hexo的基礎搭建和使用技巧. 本章, 我們主要記錄下Hexo博客中關於主題的使用. 主題的選用後, 其實就是大量的配置. 以及第三方的集成, 是一件苦工, 但不難. 但是實在過於繁雜, 正好將信息記錄於
2020-06-22 22:21:17
17
原创 Hexo博客搭建之配置文件詳解(Melody)
前言 之前有2篇關於Hexo博客搭建的文章. 有人給我留言要我使用的配置文件. 我們今天就簡單聊聊這個配置文件. 其實, 在前篇Hexo博客搭建之主題構建(melody), 以及作者官方文檔內以及有着比較詳盡的說明, 本篇作爲補充
2020-06-22 22:21:17
10