原创 windows下使用maven編譯spark源碼
1.環境 jdk1.8 scala2.11.8 spark2.11 maven4.0 2.github客戶端 官方給出的命令是在Linux上的 ./build/mvn -DskipTests clean package
2020-06-23 20:54:59
原创 sqoop使用示例
sqoop Sqoop是一款開源的工具，主要用於在HADOOP不傳統的數據庫(mysql、postgresql等)進行數據的傳遞，可以將一個關係型數據庫（例如：MySQL、Oracle、Postgres等）中的數據導進到Hadoop的
2020-06-23 20:54:59
原创 windows配置spark運行環境
1.java配置 使用jdk1.8 配置略 2.下載、配置scala 官網下載scala，解壓放到自己的目錄下。目錄不要有空格 把Scala的bin文件夾所在目錄配置到環境變量的path中（過程和jdk配置一樣） 測試是有完成
2020-06-23 20:54:59
原创 Scala關鍵字class和object
面向對象 和Java一樣Scala面向對象 類是對象的模板、抽象。定義一個類後，可以使用關鍵字new來創建一個類的對象。 通過對象可以使用定義的類的所有功能。 class class表示類 和Java不同，class不能運行
2020-06-23 13:53:05
原创 Hive安裝本地模式
環境 CentOS6.5 jdk1.8 MySQL5.6 Hadoop2.7 mysql要用原生的若果是centOS會自帶MariaDB，不要用。 CentOS上MySQL安裝 安裝hive 下載hive壓縮
2020-06-23 13:53:04
原创 spark程序提交集羣和監控
運行模式 Spark 應用在集羣上作爲獨立的進程組來運行，在 main 程序中通過 SparkContext 來協調（稱之爲 driver 程序） 1.每個應用獲取到它自己的 Executor 進程，它們會保持在整個應用的生命週
2020-06-23 13:53:03
原创 Java獲取工程jar包war包中的文件
1.相對路徑有問題 工程目錄如圖： -- 用相對路徑的方法可以獲取跟src同一目錄下的js文件 //scripts前不要加 “/” FileReader file = new FileRea
2020-06-23 13:53:03
原创 安裝cx_Oracle報錯：unable to find vcvarsall.bat
環境： Python3.5 vs 2008 報錯： unable to find vcvarsall.bat 原因： python的distutils模塊中的msvc9compiler.py並不從環境變量指定的路徑中尋找’
2020-02-26 05:59:42
原创 maven構建Scala程序，實現spark的wordcount
環境 jdk1.8 scala2.11.8 spark2.11 maven4.0 新建工程 ide:idea 新建一個maven工程，添加jdk和scala支持 然後添加maven依賴 編寫wordcount代碼
2020-02-26 05:59:42
原创 linux上運行spark程序
參考官網 spark-submit 在spark安裝目錄的bin目錄下有一個spark-submit腳本，可以用來提交運行spark程序 如果配置了spark的path可以直接使用spark-submit命令 編譯構建spark
2020-02-26 05:59:42
原创 通過反射優化工廠模式
1.工廠模式 工廠模式是我們最常用的實例化對象模式了，是用工廠方法代替new操作的一種模式。著名的Jive論壇 ,就大量使用了工廠模式，工廠模式在Java程序系統可以說是隨處可見。因爲工廠模式就相當於創建實例對象的new，我們經常要根
2020-02-26 05:59:42
原创 單例模式不單例
一個最簡單的單例： public class Singleton { private Singleton() {} private static Singleton single=null; //靜態
2020-02-26 05:59:42
原创 股票基本知識
概念 股票是一種有價證券，是股份有限公司在籌集資本時向出資人發行的股份憑證，代表着其持有者對股份公司的身份（（即股東）和權利。這種權利爲一種綜合權利，如參加股東大會、投票表決、參與公司的重大決策、收取股息或分享紅利等，但也要共同承擔公
2020-02-26 05:59:42
原创 tomcat啓動成功但是沒有監聽8080端口
查看tomcat日誌 cd tomcat/logs cat catlina.out 錯誤如下： /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.75.x86_64/jre/bin/java: No such
2020-02-26 05:59:42
原创 設計模式--MVVM
1.關聯模式 MVC 視圖（View）：用戶界面。控制器（Controller）：業務邏輯模型（Model）：數據保存 View 傳送指令到 Controller Controller 完成業務邏輯後，要求 Model 改變狀態
2020-02-26 05:59:42