原创 Spark SQL學習
（一）編程實現將 RDD 轉換爲 DataFrame 使用編程接口，構造一個 schema 並將其應用在已知的 RDD 上。 命令： 結果： （二）編程實現利用 DataFrame 讀寫 MySQL 的數據 數據庫中已有的表： 對
2020-02-20 15:04:10
原创 Spark實驗五
2.編程實現將 RDD 轉換爲 DataFrame 利用反射來推斷包含特定類型對象的 RDD 的 schema，適用對已知數據結構的 RDD轉換 import org.apache.spark.sql.catalyst.encoder
2020-02-20 15:04:09
原创 Spark惰性機制引起的：Input path does not exist
問題： Spark惰性機制引起的：Input path does not exist 問題分析： val textFile = Sc.textFile(“file///usr/local/spark/...”)加載本地文件，必須以“fil
2020-02-20 15:04:09
原创 Spark-Java獨立應用編程--理解：
條件：maven、java應用程序代碼、pom.xml -pom.xml文件 1 <project> 2 <groupId>edu.berkeley</groupId> 3 <artifactId>simple
2020-02-20 15:04:09
原创 練習記錄--總結Spark基礎操作常用的Shell命令--個人筆記
啓動hadoop-hdfs命令 退出hdfs: 啓動spark命令： 退出： -ls：顯示文件夾內容 -put:上傳到hdfs上 -cat:顯示文件內容 hdfs文件讀取成功：三種方式，前提：運行hdfs
2020-02-20 15:04:09
原创 android studio的安裝與配置（其中辛酸就不提了。。。）
爲了開學後能儘快入手安卓的開發，決定安裝開發android的軟件,整個過程用了三天時間，這期間感覺自己有種入魔的感覺， 每天醒來第一件事就是搞電腦，研究問題、百度報錯原因、解決問題。。。 day 1 結合之前大型軟件的安裝經驗（軟件的坑太多
2019-03-12 13:47:47