原创 MapReduce實現線性迴歸
1. 軟件版本：Hadoop2.6.0（IDEA中源碼編譯使用CDH5.7.3，對應Hadoop2.6.0），集羣使用原生Hadoop2.6.4，JDK1.8，Intellij IDEA 14 。源碼可以在https://github.c
2020-06-19 22:44:35
1
原创 Spark TopK問題解法
軟件版本及平臺：CDH5.8、四子節點（cpu：2核、內存：4G）、JDK：1.7、IDEA14 、 Spark：1.6.0-cdh5.7.3；代碼下載：問題描述：現有用戶項目評分數據，其格式如下所示：u1,item1,0.0913375
2020-06-19 21:44:24
原创 Spark讀寫Hive添加PMML支持
軟件版本：CDH：5.8.0；Hadoop：2.6.0 ； Spark：1.6.0； Hive：1.1.0；JDK：1.7 ； SDK：2.10.6（Scala）工程下載：https://github.com/fansy1990/spar
2020-06-19 20:33:47
原创 Spark讀寫Hive
環境：CDH5.8，Spark：1.6.0；Hadoop：2.6.0，Intellij IDEA14 ，jdk1.8，sdk：2.10.6 ，maven：3.3.3；工程下載地址：https://github.com/fansy1990/
2020-06-19 20:33:47
1
原创 Coursera TensorFlow 基礎課程-week2
Introduction to Computer Vision 參考：Ubuntu 16 安裝TensorFlow及Jupyter notebook 安裝TensorFlow。 本篇博客翻譯來自 Introduction t
2020-06-06 21:30:29
原创 Spark ALS recommendForAll源碼解析實戰之Spark1.x vs Spark2.x
文章目錄Spark ALS recommendForAll源碼解析實戰1. 軟件版本：2. 本文要解決的問題3. 源碼分析實戰3.1 Spark2.2.2 ALS recommendForAll 實戰分析1. 首先給出其核心實現源
2020-06-06 21:30:29
原创 Coursera TensorFlow 基礎課程-week4
Using Real-world Images 參考：Ubuntu 16 安裝TensorFlow及Jupyter notebook 安裝TensorFlow。 本篇博客翻譯來自 Introduction to Tensor
2020-06-06 21:30:29
38
原创 Spark加載PMML進行預測
軟件版本：CDH:5.8.0 , CDH-hadoop :2.6.0 ; CDH-spark :1.6.0 目標：使用Spark 加載PMML文件到模型，並使用Spark平臺進行預測（這裏測試使用的是Spark on YARN的方式）。具
2020-02-23 09:29:10
5
原创 Oozie Spark on YARN requirement failed
軟件環境：CDH：5.7.3；Oozie：4.1.0-CDH5.7.3 ； Spark：1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3 ； Hadoop：hadoop2.6.0-cdh5.7.3（HDFS 採用HA
2020-02-23 09:29:10
原创 mac未能正確推出移動硬盤而讀取不了
問題：移動硬盤格式是exfat的，在mac中未能正確推出移動硬盤，然後就被直接拔掉了；插在windows上，顯示未能訪問；直接重啓windows，就可以訪問該移動硬盤了，但是推出後，再次插入到mac上還是讀取不了；修復方法：1. 插入到w
2020-02-23 09:29:09
原创 Spark SQL: Relational Data Processing in Spark
Spark SQL： Relational Data Processing in Spark Spark SQL : Spark中關係型處理模塊 說明: 類似這樣的說明並非是原作者的內容翻譯，而是本篇翻譯作者的理解（可以理解爲批准）
2019-04-08 20:50:06
原创 Coursera TensorFlow 基礎課程-week3
Enhancing Vision with Convolutional Neural Networks 參考：Ubuntu 16 安裝TensorFlow及Jupyter notebook 安裝TensorFlow。 本篇博客翻
2019-03-22 20:58:33
22
原创 Coursera TensorFlow 基礎課程-week1
A New Programming Paradigm 參考：Ubuntu 16 安裝TensorFlow及Jupyter notebook 安裝TensorFlow。 本篇博客翻譯來自 Introduction to Tenso
2019-03-19 20:56:21
11
原创 Spark讀取Hive on Tez任務問題
Spark讀取Hive on Tez任務問題 這篇博客定義爲“翻譯”，其實不太準確，並沒有嚴格意義翻譯某篇文章。主要是受了 Hive-on-Tez issue in Spark Jobs when using Hortonworks
2019-03-18 20:49:53
5
原创 Ubuntu 16 安裝TensorFlow及Jupyter notebook
Ubuntu 16 安裝TensorFlow及Jupyter notebook 文章目錄Ubuntu 16 安裝TensorFlow及Jupyter notebook1. 軟件版本2. 安裝過程3. 測試 本文主要講述Windows
2019-03-12 18:57:22