原创 Spark機器學習
Spark機器學習Pipelines中的主要概念MLlib 提供的API可以通過Pipelines將多個複雜的機器學習算法結合成單個pipeline或者單個工作流。這個概念和scikit-learn裏的概念類似，根據官方的說法是，此抽象概念
2019-02-22 23:47:10
原创 Zeppelin使用心得總結
Zeppelin使用心得此次試驗的項目是：Zeppelin+Anaconda2（包括Tensorflow等深度學習庫）+Spark On Yarn+SQL On Zeppelin整個環境的搭建的過程。試驗目標：將該環境搭建好了之後，可以在z
2019-02-22 23:47:07
原创 Beam 超實用examples之Pi值計算
Beam Pi值計算Beam剛剛開源不是很久，快2個月了。目前的版本是0.5.0版本。官方的源碼中提供了4個examples.無奈這四個案例都只是WordCount的四種不同的實現。作爲一個從Spark進入大數據殿堂的筆者來說，用過n多次的
2019-02-22 23:47:07
1
原创 Apache Beam程序嚮導4
Apache Beam程序嚮導4今天在集羣上實驗Beam On Spark的時候，遇到一個坑爹的問題，這個問題總結起來是一個java.lang.NoClassDefFoundError錯誤，具體錯誤如下圖1所示圖1 錯誤提示該錯誤提示Spa
2019-02-22 23:47:07
原创 Apache Beam程序嚮導4
Apache Beam程序嚮導4今天在集羣上實驗Beam On Spark的時候，遇到一個坑爹的問題，這個問題總結起來是一個java.lang.NoClassDefFoundError錯誤，具體錯誤如下圖1所示圖1 錯誤提示該錯誤提示Spa
2018-09-12 06:46:10
原创 Beam 超實用examples之Pi值計算
Beam Pi值計算Beam剛剛開源不是很久，快2個月了。目前的版本是0.5.0版本。官方的源碼中提供了4個examples.無奈這四個案例都只是WordCount的四種不同的實現。作爲一個從Spark進入大數據殿堂的筆者來說，用過n多次的
2018-09-12 06:46:07
原创 Spark機器學習
Spark機器學習Pipelines中的主要概念MLlib 提供的API可以通過Pipelines將多個複雜的機器學習算法結合成單個pipeline或者單個工作流。這個概念和scikit-learn裏的概念類似，根據官方的說法是，此抽象概念
2018-09-12 06:46:07