原创 MapReduce保存計算結果到數據庫
------------- 創建數據庫和表 --------------- mysql -u root -p 登錄數據庫 create database if not existsii; 創建數據庫 useii; 使用數據庫
2020-06-28 22:54:08
原创 JAVA自定義排序
import java.util.Arrays; //實現Comparable接口可以進行比較大小 public class People implements Comparable<People>{ private
2020-06-28 22:54:08
原创 MapReduce練習IpAction
統計每個 ip 做了多少次 操作 統計每個 操作，執行了多少次 每個 ip 的每個操作 執行了多少次（包括分區） 192.168.10.109 這個 ip 執行了多少次操作 每個 ip 的每個操作 執行了多少次
2020-06-28 22:54:08
原创 MapReduce的排序
排序是數據分析中最常用的操作，沒有之一。 單字段升序： 利用 mapreduce 自身的排序機制，把需要排序的字段作爲 key 即可 自定義排序規則： 方案一：自定義 key 1. 自定義類實現 Writa
2020-06-28 22:54:08
原创 Java IO流（上）
IO流的基本介紹，輸出文件屬性： import java.io.File; public class Application { public static void main(String[] args) {
2020-06-01 22:23:31
原创 使用Scala編寫Map Reduce的模板
def main(args: Array[String]): Unit = { //1.配置 spark 任務相關信息 val sparkConf = new SparkConf(); //配置人物名字
2018-12-26 14:50:23
原创 使用HQL分析數據的腳本
清洗數據 #!/bin/bash hadoop jar jar路徑 類路徑.NginxAccessETL $1 hive -e " USE 數據庫; CREATE TABLE IF NOT EXISTS dwb_nginx_ac
2018-12-13 13:17:08
原创 數據分析—排序
排序是數據分析中最常用的操作，沒有之一。 單字段升序： 利用 mapreduce 自身的排序機制，把需要排序的字段作爲 key 即可 其它排序： 自定義排序規則 方案一：自定義 key 1. 自定義類實現
2018-12-08 00:17:10
原创 WordCount代碼模板
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path
2018-12-08 00:17:10
原创 Java中HBase的使用
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.
2018-12-08 00:17:10
原创 MapReduce的使用
MapReduce：分佈式離線計算框架 分佈式：程序多節點（resourceManager 和 nodeManager）多角色（map 和 reduce）組成 離線：計算過程中產生中間數據，會保存在硬盤上 計算框架：提供了一個編程模型
2018-12-08 00:17:10
原创 Linux中session共享
有的項目的所有功能都要進行登錄驗證， 驗證條件是判斷 session 中是否有 user 對象， 如果有就認爲登錄過，如果沒有就進行登錄 session（會話）： 服務器上的一塊存儲空間，和客戶端一一對應。
2018-11-26 08:50:27
原创 Linux中Hadoop 集羣搭建
零、下載Hadoop： http://archive.cloudera.com/cdh5/cdh/5/?tdsourcetag=s_pctim_aiomsg 一、集羣規劃： 搭建的 hadoop 集羣由 3 臺服務器組成，分別叫做 m
2018-11-26 08:50:27
原创 Linux 安裝 redis
安裝 redis： 1. 下載：http://www.redis.cn/ 2. 上傳到 root，解壓 3. 安裝編譯 redis 需要的 gcc-c++ 和 tcl 軟件 yum install -y gcc-c++
2018-11-26 08:50:27