原创 Scala用actor編寫簡單WordCount
package cn.allengao.actor import java.io.File import scala.actors.{Actor, Future} //舊版本還是使用actors的actor，而不是使用akka的ac
2020-07-05 10:14:51
1
原创 Spark的WordCount練習（一）
打開IntelliJ IDEA軟件，新建maven項目，具體目錄如下： pom.xml文件配置如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://mave
2020-07-05 10:14:51
1
原创 Spark項目練習（根據規則庫統計地區用戶訪問量，寫入數據庫）
項目說明：附件爲要計算數據的demo。點擊打開鏈接 分析用戶訪問數據，將訪問IP計算分析，根據規則庫，統計出各省份的訪問量。 其中，用到知識點：1、常用算法二分法。2、IP地址轉換成10進制數的簡單算法。3、spark對Mysql數據庫的
2020-07-05 10:14:51
原创 Spark高級算子練習（一）
package cn.allengao.exercise import org.apache.spark.{SparkConf, SparkContext} object SparkRDDTest2 { def main(args
2020-07-05 10:14:51
原创 Akka編寫RPC通信框架，模擬Worker連接Master小案例
指導思想：1、利用RPC通信框架（AKKA）2、定義2個類Master、Worker-----------------------------------------------------------------------------
2020-02-22 00:32:12
原创 Spark項目練習（計算用戶訪問學科子網頁的top3）
項目說明：附件爲要計算數據的demo。點擊打開鏈接 利用spark的緩存機制，讀取需要篩選的數據，自定義一個分區器，將不同的學科數據分別放到一個分區器中，並且根據指定的學科，取出點擊量前三的數據，並寫入文件。 具體程序如下： 1、項目主程
2020-02-22 00:32:12
原创 Spark常用算子練習
package cn.allengao.exercise import org.apache.spark.{SparkConf, SparkContext} /** * class_name: * package: * d
2020-02-22 00:32:11
原创 Spark項目練習（計算用戶停留時間最長的兩個小區）
項目說明：附件爲要計算數據的demo。點擊打開鏈接 其中bs_log文件夾數據格式爲（手機號，時間戳，基站ID，連接狀態（“1”爲連接，“0”爲斷開）） lac_info.txt 文件數據格式爲（基站ID，經度，緯度，信號輻射類型） 程序
2020-02-22 00:32:11
原创 Spark高級算子練習（二）
package cn.allengao.exercise import org.apache.spark.{SparkConf, SparkContext} object SparkRDDtest3 { def main(args
2020-02-22 00:32:11
原创 Spark的WordCount練習（二）
Spark集羣運行WordCount程序，程序基本同練習（一），區別在於註釋//.setMaster("local[*]")，改爲集羣運行， 將註釋打開，res.saveAsTextFile(args(1))，保存結果到文件，具體程序如下
2020-02-22 00:32:11
原创 Scala初學小練習
package cn.allengao.exercise object Exercise { def main(args: Array[String]): Unit = { //創建一個List val list0
2020-02-22 00:32:11
1
原创 編程的兩種方式執行Spark SQL查詢（方式一）
現在我們來實現在自定義程序中編寫Spark SQL查詢程序。 實現查詢的方式有兩種： 方式一：通過反射推斷schema。 方式二：通過structtype直接指定schema。 我們先用方式一來實現自定義查詢。 首先創建一個team.tx
2020-02-22 00:32:11
原创 Python基礎知識練習題（一）
#!/usr/bin/env python # -*- coding:utf-8 -*- # Python基礎知識練習題（一） #1、使用while循環輸入1 2 3 4 5 6 8 9 10 a = 0 while a < 10:
2018-09-01 20:59:57
原创 Python編程入門學習筆記(九)
python學習筆記（九）## Python第四課 ### 新的數據格式：CSV - 純文本，使用某個字符集，比如ACSII，Unicode，EBCDIC或GB2312（簡體中文環境）等； - 由記錄組成（典型的是每行一條記錄）； -
2018-09-01 20:59:56
原创 Python編程入門學習筆記(十)
python學習筆記（十）<h1 style="text-align:center">泰坦尼克數據處理與分析 </h1> ![](http://www.allengao.cn/wp-content/uploads/2018/06/Tit
2018-09-01 20:59:56