原创 spark的slave上沒有datanode 的解決辦法
問題描述： 通過jps命令 發現 兩個slave上都沒有datanode，而master上正常 找到namenode和datanode各自的VERS
2020-02-25 00:30:09
原创 spark-shell的環境測試
測試spark-shell： 前提，hdfs有format過（一次就好，format多次了會出現找不到slave的datanode的現象），而且開啓了hadoop和spark 方法1、 直接：鍵入如下命令檢查Spark Shell是否工
2020-02-25 00:30:09
原创 linux環境變量的設置
參考鏈接： http://www.powerxing.com/linux-environment-variable/ 全局的環境變量存放的文件有： etc/profile，用戶登陸一次，執行一次 etc/bashrc,每打開一次she
2020-02-25 00:30:09
原创 安裝sbt並用sbt編譯第一個應用
安裝sbt： 安裝地址：http://www.scala-sbt.org/download.html 直接下載zip包即可 我的版本0.13.9 等待了10分鐘纔開始下載一共耗時20分鐘 具體安裝方法：見這個鏈接 http://www.c
2020-02-25 00:30:09
原创 Tips for lab2
Tips for lab2 安裝mips交叉編譯器 從 lab2給出的內網鏈接下載mips-2015.11-32-mips-linux-gnu.bin 或者自己從https://sourcery.mentor.com/GNUToo
2018-09-03 23:34:09
原创 bash 之 last
排版模式： 可編輯模式： 輸入last後 會讀取/var/log/wtmp 這個文件是二進制文件，它不能被文本編輯器瀏覽，比如vi、Joe或者其他軟件 terminal中第二列的信息 pts/0 (僞終
2018-09-03 23:34:09
原创 Spark快速入門指南
轉載地址： http://blog.csdn.net/macyang/article/details/7100523 Spark是什麼？ Spark is a MapReduce-like cluster computing fra
2018-09-03 23:34:08
原创 安裝screenfetch
ubuntu apt中不包含這個庫 需要 git clone https://github.com/KittyKatt/screenFetch.git chmod +x screenfetchcp 到 /usr/local/bin即可
2018-09-03 23:34:08
原创 CA dis4 notes
3.15 notes重點： syscall的原理 講解了syscall的 具體實現 科普一些中斷的知識 當中斷髮生的時候，有三個register會參與，分別是 Status Register，Cause R
2018-09-03 23:34:08
原创 spark-submit到yarn上遇到的各種坑
spark-submit到yarn上遇到的各種坑 1、對於sbt package 稍微搬動了code的位置，又要重新下載lib，所以不要移動代碼位置。 後面沒有搬動code，就沒重新下載庫了，而且每次package速度很快，1秒左右 2、
2018-09-03 23:34:08
2
原创 spark處理大數據的幾個實例介紹
在集羣中跑應用，而不是在shell中感受寫spark應用的過程 整個過程爲：1、案例分析：要用哪些spark的RDD的API2、編程實現: 用到scala3、提交到集羣執行：如何提交到集羣，文件是否先傳到HDFS上4、監控執行結果： 通過
2018-09-03 23:34:08
原创 alfred
alfred+powerpack： 重新思考什麼是workflow 減少很多不必要的操作，減少那些大量進行的重複的操作（這裏的大量進行指的是多次中的某些步驟，而不是一次中的大量重複） 比如豆瓣搜索影評，按下option space 輸
2018-09-03 23:34:07
原创 spark-shell的wordcount的例子存檔
啓動spark-shell後 完成的第一示例：完成Spark安裝並啓動後，就可以用Spark API執行數據分析查詢了。首先讓我們用Spark API運行流行的Word Count示例。如果還沒有運行Spark Scala Shell
2018-09-03 23:34:07
原创 spark load file的幾種方式
spark load file的幾種方式： 1、直接導入localfile，而不是HDFS sc.textFile("file:///path to the file/") 如sc.textFile("file:///home/spark
2018-09-03 23:34:07