歡迎訪問筆者個人技術博客：http://rukihuang.xyz/
學習視頻來源於尚硅谷，視頻鏈接：尚硅谷大數據項目數據倉庫,電商數倉V1.2新版，Respect！
1 日誌生成
1.1 日誌啓動
- 參數說明
// 參數一：控制發送每條的延時時間，默認是0
Long delay = args.length > 0 ? Long.parseLong(args[0]) : 0L;
// 參數二：循環遍歷次數
int loop_len = args.length > 1 ? Integer.parseInt(args[1]) : 1000;
- 將生成的jar 包
log-collector-0.0.1-SNAPSHOT-jar-with-dependencies.jar拷貝到
hadoop102 服務器/opt/module上，並同步到hadoop103 的/opt/module路徑下
xsync log-collector-0.0.1-SNAPSHOT-jar-with-dependencies.jar
- 執行jar程序
java -classpath log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.ruki.applient.AppMain >/opt/module/test.log
#根據Java代碼的配置文件，日誌文件會輸出到/tmp/logs目錄下
package com.ruki.applient;
import java.io.UnsupportedEncodingException;
import java.util.Random;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.ruki.bean.*;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
/**
* 日誌行爲數據模擬
*/
public class AppMain {
private final static Logger logger = LoggerFactory.getLogger(AppMain.class);
private static Random rand = new Random();
// 設備id
private static int s_mid = 0;
// 用戶id
private static int s_uid = 0;
// 商品id
private static int s_goodsid = 0;
public static void main(String[] args) {
// 參數一：控制發送每條的延時時間，默認是0
Long delay = args.length > 0 ? Long.parseLong(args[0]) : 0L;
// 參數二：循環遍歷次數
int loop_len = args.length > 1 ? Integer.parseInt(args[1]) : 1000;
// 生成數據
generateLog(delay, loop_len);
}
private static void generateLog(Long delay, int loop_len) {
for (int i = 0; i < loop_len; i++) {
int flag = rand.nextInt(2);
switch (flag) {
case (0):
//應用啓動
AppStart appStart = generateStart();
String jsonString = JSON.toJSONString(appStart);
//控制檯打印
logger.info(jsonString);
break;
case (1):
JSONObject json = new JSONObject();
json.put("ap", "app");
json.put("cm", generateComFields());
JSONArray eventsArray = new JSONArray();
// 事件日誌
// 商品點擊，展示
if (rand.nextBoolean()) {
eventsArray.add(generateDisplay());
json.put("et", eventsArray);
}
// 商品詳情頁
if (rand.nextBoolean()) {
eventsArray.add(generateNewsDetail());
json.put("et", eventsArray);
}
// 商品列表頁
if (rand.nextBoolean()) {
eventsArray.add(generateNewList());
json.put("et", eventsArray);
}
// 廣告
if (rand.nextBoolean()) {
eventsArray.add(generateAd());
json.put("et", eventsArray);
}
// 消息通知
if (rand.nextBoolean()) {
eventsArray.add(generateNotification());
json.put("et", eventsArray);
}
// 用戶後臺活躍
if (rand.nextBoolean()) {
eventsArray.add(generateBackground());
json.put("et", eventsArray);
}
//故障日誌
if (rand.nextBoolean()) {
eventsArray.add(generateError());
json.put("et", eventsArray);
}
// 用戶評論
if (rand.nextBoolean()) {
eventsArray.add(generateComment());
json.put("et", eventsArray);
}
// 用戶收藏
if (rand.nextBoolean()) {
eventsArray.add(generateFavorites());
json.put("et", eventsArray);
}
// 用戶點贊
if (rand.nextBoolean()) {
eventsArray.add(generatePraise());
json.put("et", eventsArray);
}
//時間
long millis = System.currentTimeMillis();
//控制檯打印
logger.info(millis + "|" + json.toJSONString());
break;
}
// 延遲
try {
Thread.sleep(delay);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
/**
* 公共字段設置
*/
private static JSONObject generateComFields() {
AppBase appBase = new AppBase();
//設備id
appBase.setMid(s_mid + "");
s_mid++;
// 用戶id
appBase.setUid(s_uid + "");
s_uid++;
// 程序版本號 5,6等
appBase.setVc("" + rand.nextInt(20));
//程序版本名 v1.1.1
appBase.setVn("1." + rand.nextInt(4) + "." + rand.nextInt(10));
// 安卓系統版本
appBase.setOs("8." + rand.nextInt(3) + "." + rand.nextInt(10));
// 語言 es,en,pt
int flag = rand.nextInt(3);
switch (flag) {
case (0):
appBase.setL("es");
break;
case (1):
appBase.setL("en");
break;
case (2):
appBase.setL("pt");
break;
}
// 渠道號 從哪個渠道來的
appBase.setSr(getRandomChar(1));
// 區域
flag = rand.nextInt(2);
switch (flag) {
case 0:
appBase.setAr("BR");
case 1:
appBase.setAr("MX");
}
// 手機品牌 ba ,手機型號 md，就取2位數字了
flag = rand.nextInt(3);
switch (flag) {
case 0:
appBase.setBa("Sumsung");
appBase.setMd("sumsung-" + rand.nextInt(20));
break;
case 1:
appBase.setBa("Huawei");
appBase.setMd("Huawei-" + rand.nextInt(20));
break;
case 2:
appBase.setBa("HTC");
appBase.setMd("HTC-" + rand.nextInt(20));
break;
}
// 嵌入sdk的版本
appBase.setSv("V2." + rand.nextInt(10) + "." + rand.nextInt(10));
// gmail
appBase.setG(getRandomCharAndNumr(8) + "@gmail.com");
// 屏幕寬高 hw
flag = rand.nextInt(4);
switch (flag) {
case 0:
appBase.setHw("640*960");
break;
case 1:
appBase.setHw("640*1136");
break;
case 2:
appBase.setHw("750*1134");
break;
case 3:
appBase.setHw("1080*1920");
break;
}
// 客戶端產生日誌時間
long millis = System.currentTimeMillis();
appBase.setT("" + (millis - rand.nextInt(99999999)));
// 手機網絡模式 3G,4G,WIFI
flag = rand.nextInt(3);
switch (flag) {
case 0:
appBase.setNw("3G");
break;
case 1:
appBase.setNw("4G");
break;
case 2:
appBase.setNw("WIFI");
break;
}
// 拉丁美洲 西經34°46′至西經117°09；北緯32°42′至南緯53°54′
// 經度
appBase.setLn((-34 - rand.nextInt(83) - rand.nextInt(60) / 10.0) + "");
// 緯度
appBase.setLa((32 - rand.nextInt(85) - rand.nextInt(60) / 10.0) + "");
return (JSONObject) JSON.toJSON(appBase);
}
/**
* 商品展示事件
*/
private static JSONObject generateDisplay() {
AppDisplay appDisplay = new AppDisplay();
boolean boolFlag = rand.nextInt(10) < 7;
// 動作：曝光商品=1，點擊商品=2，
if (boolFlag) {
appDisplay.setAction("1");
} else {
appDisplay.setAction("2");
}
// 商品id
String goodsId = s_goodsid + "";
s_goodsid++;
appDisplay.setGoodsid(goodsId);
// 順序 設置成6條吧
int flag = rand.nextInt(6);
appDisplay.setPlace("" + flag);
// 曝光類型
flag = 1 + rand.nextInt(2);
appDisplay.setExtend1("" + flag);
// 分類
flag = 1 + rand.nextInt(100);
appDisplay.setCategory("" + flag);
JSONObject jsonObject = (JSONObject) JSON.toJSON(appDisplay);
return packEventJson("display", jsonObject);
}
/**
* 商品詳情頁
*/
private static JSONObject generateNewsDetail() {
AppNewsDetail appNewsDetail = new AppNewsDetail();
// 頁面入口來源
int flag = 1 + rand.nextInt(3);
appNewsDetail.setEntry(flag + "");
// 動作
appNewsDetail.setAction("" + (rand.nextInt(4) + 1));
// 商品id
appNewsDetail.setGoodsid(s_goodsid + "");
// 商品來源類型
flag = 1 + rand.nextInt(3);
appNewsDetail.setShowtype(flag + "");
// 商品樣式
flag = rand.nextInt(6);
appNewsDetail.setShowtype("" + flag);
// 頁面停留時長
flag = rand.nextInt(10) * rand.nextInt(7);
appNewsDetail.setNews_staytime(flag + "");
// 加載時長
flag = rand.nextInt(10) * rand.nextInt(7);
appNewsDetail.setLoading_time(flag + "");
// 加載失敗碼
flag = rand.nextInt(10);
switch (flag) {
case 1:
appNewsDetail.setType1("102");
break;
case 2:
appNewsDetail.setType1("201");
break;
case 3:
appNewsDetail.setType1("325");
break;
case 4:
appNewsDetail.setType1("433");
break;
case 5:
appNewsDetail.setType1("542");
break;
default:
appNewsDetail.setType1("");
break;
}
// 分類
flag = 1 + rand.nextInt(100);
appNewsDetail.setCategory("" + flag);
JSONObject eventJson = (JSONObject) JSON.toJSON(appNewsDetail);
return packEventJson("newsdetail", eventJson);
}
/**
* 商品列表
*/
private static JSONObject generateNewList() {
AppLoading appLoading = new AppLoading();
// 動作
int flag = rand.nextInt(3) + 1;
appLoading.setAction(flag + "");
// 加載時長
flag = rand.nextInt(10) * rand.nextInt(7);
appLoading.setLoading_time(flag + "");
// 失敗碼
flag = rand.nextInt(10);
switch (flag) {
case 1:
appLoading.setType1("102");
break;
case 2:
appLoading.setType1("201");
break;
case 3:
appLoading.setType1("325");
break;
case 4:
appLoading.setType1("433");
break;
case 5:
appLoading.setType1("542");
break;
default:
appLoading.setType1("");
break;
}
// 頁面 加載類型
flag = 1 + rand.nextInt(2);
appLoading.setLoading_way("" + flag);
// 擴展字段1
appLoading.setExtend1("");
// 擴展字段2
appLoading.setExtend2("");
// 用戶加載類型
flag = 1 + rand.nextInt(3);
appLoading.setType("" + flag);
JSONObject jsonObject = (JSONObject) JSON.toJSON(appLoading);
return packEventJson("loading", jsonObject);
}
/**
* 廣告相關字段
*/
private static JSONObject generateAd() {
AppAd appAd = new AppAd();
// 入口
int flag = rand.nextInt(3) + 1;
appAd.setEntry(flag + "");
// 動作
flag = rand.nextInt(5) + 1;
appAd.setAction(flag + "");
// 內容類型類型
flag = rand.nextInt(6)+1;
appAd.setContentType(flag+ "");
// 展示樣式
flag = rand.nextInt(120000)+1000;
appAd.setDisplayMills(flag+"");
flag=rand.nextInt(1);
if(flag==1){
appAd.setContentType(flag+"");
flag =rand.nextInt(6);
appAd.setItemId(flag+ "");
}else{
appAd.setContentType(flag+"");
flag =rand.nextInt(1)+1;
appAd.setActivityId(flag+ "");
}
JSONObject jsonObject = (JSONObject) JSON.toJSON(appAd);
return packEventJson("ad", jsonObject);
}
/**
* 啓動日誌
*/
private static AppStart generateStart() {
AppStart appStart = new AppStart();
//設備id
appStart.setMid(s_mid + "");
s_mid++;
// 用戶id
appStart.setUid(s_uid + "");
s_uid++;
// 程序版本號 5,6等
appStart.setVc("" + rand.nextInt(20));
//程序版本名 v1.1.1
appStart.setVn("1." + rand.nextInt(4) + "." + rand.nextInt(10));
// 安卓系統版本
appStart.setOs("8." + rand.nextInt(3) + "." + rand.nextInt(10));
//設置日誌類型
appStart.setEn("start");
// 語言 es,en,pt
int flag = rand.nextInt(3);
switch (flag) {
case (0):
appStart.setL("es");
break;
case (1):
appStart.setL("en");
break;
case (2):
appStart.setL("pt");
break;
}
// 渠道號 從哪個渠道來的
appStart.setSr(getRandomChar(1));
// 區域
flag = rand.nextInt(2);
switch (flag) {
case 0:
appStart.setAr("BR");
case 1:
appStart.setAr("MX");
}
// 手機品牌 ba ,手機型號 md，就取2位數字了
flag = rand.nextInt(3);
switch (flag) {
case 0:
appStart.setBa("Sumsung");
appStart.setMd("sumsung-" + rand.nextInt(20));
break;
case 1:
appStart.setBa("Huawei");
appStart.setMd("Huawei-" + rand.nextInt(20));
break;
case 2:
appStart.setBa("HTC");
appStart.setMd("HTC-" + rand.nextInt(20));
break;
}
// 嵌入sdk的版本
appStart.setSv("V2." + rand.nextInt(10) + "." + rand.nextInt(10));
// gmail
appStart.setG(getRandomCharAndNumr(8) + "@gmail.com");
// 屏幕寬高 hw
flag = rand.nextInt(4);
switch (flag) {
case 0:
appStart.setHw("640*960");
break;
case 1:
appStart.setHw("640*1136");
break;
case 2:
appStart.setHw("750*1134");
break;
case 3:
appStart.setHw("1080*1920");
break;
}
// 客戶端產生日誌時間
long millis = System.currentTimeMillis();
appStart.setT("" + (millis - rand.nextInt(99999999)));
// 手機網絡模式 3G,4G,WIFI
flag = rand.nextInt(3);
switch (flag) {
case 0:
appStart.setNw("3G");
break;
case 1:
appStart.setNw("4G");
break;
case 2:
appStart.setNw("WIFI");
break;
}
// 拉丁美洲 西經34°46′至西經117°09；北緯32°42′至南緯53°54′
// 經度
appStart.setLn((-34 - rand.nextInt(83) - rand.nextInt(60) / 10.0) + "");
// 緯度
appStart.setLa((32 - rand.nextInt(85) - rand.nextInt(60) / 10.0) + "");
// 入口
flag = rand.nextInt(5) + 1;
appStart.setEntry(flag + "");
// 開屏廣告類型
flag = rand.nextInt(2) + 1;
appStart.setOpen_ad_type(flag + "");
// 狀態
flag = rand.nextInt(10) > 8 ? 2 : 1;
appStart.setAction(flag + "");
// 加載時長
appStart.setLoading_time(rand.nextInt(20) + "");
// 失敗碼
flag = rand.nextInt(10);
switch (flag) {
case 1:
appStart.setDetail("102");
break;
case 2:
appStart.setDetail("201");
break;
case 3:
appStart.setDetail("325");
break;
case 4:
appStart.setDetail("433");
break;
case 5:
appStart.setDetail("542");
break;
default:
appStart.setDetail("");
break;
}
// 擴展字段
appStart.setExtend1("");
return appStart;
}
/**
* 消息通知
*/
private static JSONObject generateNotification() {
AppNotification appNotification = new AppNotification();
int flag = rand.nextInt(4) + 1;
// 動作
appNotification.setAction(flag + "");
// 通知id
flag = rand.nextInt(4) + 1;
appNotification.setType(flag + "");
// 客戶端彈時間
appNotification.setAp_time((System.currentTimeMillis() - rand.nextInt(99999999)) + "");
// 備用字段
appNotification.setContent("");
JSONObject jsonObject = (JSONObject) JSON.toJSON(appNotification);
return packEventJson("notification", jsonObject);
}
/**
* 後臺活躍
*/
private static JSONObject generateBackground() {
AppActive_background appActive_background = new AppActive_background();
// 啓動源
int flag = rand.nextInt(3) + 1;
appActive_background.setActive_source(flag + "");
JSONObject jsonObject = (JSONObject) JSON.toJSON(appActive_background);
return packEventJson("active_background", jsonObject);
}
/**
* 錯誤日誌數據
*/
private static JSONObject generateError() {
AppErrorLog appErrorLog = new AppErrorLog();
String[] errorBriefs = {"at cn.lift.dfdf.web.AbstractBaseController.validInbound(AbstractBaseController.java:72)", "at cn.lift.appIn.control.CommandUtil.getInfo(CommandUtil.java:67)"}; //錯誤摘要
String[] errorDetails = {"java.lang.NullPointerException\\n " + "at cn.lift.appIn.web.AbstractBaseController.validInbound(AbstractBaseController.java:72)\\n " + "at cn.lift.dfdf.web.AbstractBaseController.validInbound", "at cn.lift.dfdfdf.control.CommandUtil.getInfo(CommandUtil.java:67)\\n " + "at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)\\n" + " at java.lang.reflect.Method.invoke(Method.java:606)\\n"}; //錯誤詳情
//錯誤摘要
appErrorLog.setErrorBrief(errorBriefs[rand.nextInt(errorBriefs.length)]);
//錯誤詳情
appErrorLog.setErrorDetail(errorDetails[rand.nextInt(errorDetails.length)]);
JSONObject jsonObject = (JSONObject) JSON.toJSON(appErrorLog);
return packEventJson("error", jsonObject);
}
/**
* 爲各個事件類型的公共字段（時間、事件類型、Json數據）拼接
*/
private static JSONObject packEventJson(String eventName, JSONObject jsonObject) {
JSONObject eventJson = new JSONObject();
eventJson.put("ett", (System.currentTimeMillis() - rand.nextInt(99999999)) + "");
eventJson.put("en", eventName);
eventJson.put("kv", jsonObject);
return eventJson;
}
/**
* 獲取隨機字母組合
*
* @param length 字符串長度
*/
private static String getRandomChar(Integer length) {
StringBuilder str = new StringBuilder();
Random random = new Random();
for (int i = 0; i < length; i++) {
// 字符串
str.append((char) (65 + random.nextInt(26)));// 取得大寫字母
}
return str.toString();
}
/**
* 獲取隨機字母數字組合
* @param length 字符串長度
*/
private static String getRandomCharAndNumr(Integer length) {
StringBuilder str = new StringBuilder();
Random random = new Random();
for (int i = 0; i < length; i++) {
boolean b = random.nextBoolean();
if (b) { // 字符串
// int choice = random.nextBoolean() ? 65 : 97; 取得65大寫字母還是97小寫字母
str.append((char) (65 + random.nextInt(26)));// 取得大寫字母
} else { // 數字
str.append(String.valueOf(random.nextInt(10)));
}
}
return str.toString();
}
/**
* 收藏
*/
private static JSONObject generateFavorites() {
AppFavorites favorites = new AppFavorites();
favorites.setCourse_id(rand.nextInt(10));
favorites.setUserid(rand.nextInt(10));
favorites.setAdd_time((System.currentTimeMillis() - rand.nextInt(99999999)) + "");
JSONObject jsonObject = (JSONObject) JSON.toJSON(favorites);
return packEventJson("favorites", jsonObject);
}
/**
* 點贊
*/
private static JSONObject generatePraise() {
AppPraise praise = new AppPraise();
praise.setId(rand.nextInt(10));
praise.setUserid(rand.nextInt(10));
praise.setTarget_id(rand.nextInt(10));
praise.setType(rand.nextInt(4) + 1);
praise.setAdd_time((System.currentTimeMillis() - rand.nextInt(99999999)) + "");
JSONObject jsonObject = (JSONObject) JSON.toJSON(praise);
return packEventJson("praise", jsonObject);
}
/**
* 評論
*/
private static JSONObject generateComment() {
AppComment comment = new AppComment();
comment.setComment_id(rand.nextInt(10));
comment.setUserid(rand.nextInt(10));
comment.setP_comment_id(rand.nextInt(5));
comment.setContent(getCONTENT());
comment.setAddtime((System.currentTimeMillis() - rand.nextInt(99999999)) + "");
comment.setOther_id(rand.nextInt(10));
comment.setPraise_count(rand.nextInt(1000));
comment.setReply_count(rand.nextInt(200));
JSONObject jsonObject = (JSONObject) JSON.toJSON(comment);
return packEventJson("comment", jsonObject);
}
/**
* 生成單個漢字
*/
private static char getRandomChar() {
String str = "";
int hightPos; //
int lowPos;
Random random = new Random();
//隨機生成漢子的兩個字節
hightPos = (176 + Math.abs(random.nextInt(39)));
lowPos = (161 + Math.abs(random.nextInt(93)));
byte[] b = new byte[2];
b[0] = (Integer.valueOf(hightPos)).byteValue();
b[1] = (Integer.valueOf(lowPos)).byteValue();
try {
str = new String(b, "GBK");
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
System.out.println("錯誤");
}
return str.charAt(0);
}
/**
* 拼接成多個漢字
*/
private static String getCONTENT() {
StringBuilder str = new StringBuilder();
for (int i = 0; i < rand.nextInt(100); i++) {
str.append(getRandomChar());
}
return str.toString();
}
}
-
注意1：
-
java -classpath 需要在jar 包後面指定全類名；
-
java -jar 需要查看一下解壓的jar 包META-INF/ MANIFEST.MF 文件中，Main-Class 是否有全類名。如果有可以用
java -jar，如果沒有就需要用到java -classpath
-
-
注意2：
/dev/null代表linux 的空設備文件，所有往這個文件裏面寫入的內容都會丟失，俗稱“黑洞”。- 標準輸入0：從鍵盤獲得輸入
/proc/self/fd/0 - 標準輸出1：輸出到屏幕（即控制檯）
/proc/self/fd/1 - 錯誤輸出2：輸出到屏幕（即控制檯）
/proc/self/fd/2
- 日誌文件會輸出到
/tmp/logs目錄下
1.2 集羣日誌生成啓動腳本
- 在
/home/atguigu/bin目錄下創建腳本lg.sh
#!/bin/bash
for i in hadoop102 hadoop103
do
echo -------------$i 生成日誌 ------------------------
ssh $i "java -classpath /opt/module/log_collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.ruki.applient.AppMain $1 $2 >/dev/null 2>&1"
done
- 修改權限
chmod 777 lg.sh
1.3 集羣時間同步修改腳本（臨時）
- 在
/home/atguigu/bin目錄下創建腳本dt.sh
#!/bin/bash
for i in hadoop102 hadoop103 hadoop104
do
echo ---------- $i 同步時間 ---------
ssh -t $i "sudo date -s $1 "
done
注意：ssh -t 通常用於ssh 遠程執行sudo 命令，-t是生成虛擬終端
- 修改權限
chmod 777 dt.sh
- 啓動腳本
dt.sh 2020-05-01
1.4 集羣所有進程查看腳本
- 在
/home/atguigu/bin目錄下創建腳本xcall.sh
#!/bin/bash
for i in hadoop102 hadoop103 hadoop104
do
echo ---------- $i ---------
ssh $i "$* "
done
注意：$*將輸入的參數全部執行
- 修改權限
chmod 777 xcall.sh
- 啓動腳本
xcall.sh jps