原创 《計算廣告 第2版》第二部分-在線廣告產品邏輯(閱讀學習記錄)(編輯中)

本文以作者學習記錄爲主,多數爲文章自我理解總結,可能存在錯誤,僅供讀者參考,歡迎留言糾錯和交流。 文章目錄廣告系統的產品接口廣告主層級組織與投放管理廣告計劃廣告組廣告創意供需之間多種接口形式 廣告系統的產品接口 廣告主層級組織與投

原创 kafka報錯 WARN Session 0x0 for server null, unexpected error, closing socket connection

錯誤代碼: [2019-07-04 07:54:44,520] WARN Session 0x0 for server null, unexpected error, closing socket connection and a

原创 大數據的流處理和批處理及其框架

原文鏈接 簡介 大數據是收集、整理、處理大容量數據集,並從中獲得見解所需的非傳統戰略和技術的總稱。雖然處理數據所需的計算能力或存儲容量早已超過一臺計算機的上限,但這種計算類型的普遍性、規模,以及價值在最近幾年才經歷了大規模擴展。

原创 Linux命令學習整理

參考:鏈接 文章目錄讓命令行提示符顯式完整路徑文件系統中跳轉操作文件和目錄複製文件、目錄:cp重命名:mv 原名 新名創建符號鏈接:ln -s 文件/目錄 鏈接名字使用命令重定向管道:(一個命令的輸出作爲另一個命令的輸入)打印文本

原创 spark操作hive(可解決絕大部分的問題)、sparksql操作hive

目標: 想要完成使用spark在windows的idea下操作hive(對hive中的表查詢等) 最終代碼(java): import org.apache.spark.sql.SparkSession; import java

原创 Druid基礎知識(編輯中)

Druid https://yuzhouwan.com/posts/5845/ http://druidio.cn/ 實時,快速,切片,大數據(PB級),列式存儲,分佈式 結合了OLAP分析數據庫、時間序列數據庫和全文檢索思想 集

原创 MySQL查詢近30天的記錄

文章目錄知識儲備:解題思路例子: 知識儲備: DATE_SUB(date,INTERVAL expr type)函數: ------------從指定日期減去指定時間間隔 詳細鏈接 interval關鍵字: -----------

原创 計算日訪問量

以下來自官方文檔:https://dev.mysql.com/doc/refman/8.0/en/calculating-days.html

原创 Unterminated object at line 1 column 53 path $.date

解析json報錯 原因:因爲我的json中有日期這個字段 {“phoneNum”:“138000000000”,“amount”:10,“date”:“2019-07-04T15:55:26.260Z”,“lat”:44,“log

原创 park.sql.AnalysisException: path hdfs://* already exists

df.write.format("csv").save("hdfs://s206/user/hive/warehouse/mobike.db/logs/year=2019/month=7/day=5/hour=7/minute

原创 mysql時間分段統計解題思路

優秀參考鏈接 按照日期統計: 直接日期分組,求和 按照小時統計: 使用 HOUR ( 字段名 )函數,起名,按其分組,求和 按照分鐘統計: 同上,使用MINUTE ( 字段名 ) 函數,起名,按其分組,求和 按照半小時統計: 使用

原创 MySQL中的case表達式

MySQL CASE表達式是一個流程控制結構,用在在SELECT、WHERE等語句中根據條件動態構造內容。 文章目錄格式例1:行列互換例2:不及格和及格人數統計 格式 CASE value WHEN compare_value_1

原创 MySQL求TOP N問題(面試題難點)自身左外連接

最近面試的過程中被面試官問了一道SQL題目,沒有答上,面試官說SQL實踐的少,需要加強,但是這道題,我必須承認沒有練習過,這就是有一點點難,但是很常用的TOP N問題,直接看題目。 文章目錄面試題:解題union all==TOP

原创 MySQL對不同年齡段的用戶信息做統計(附按不同時間段統計記錄)

上一篇:查詢近30天的記錄 上一篇:按時間段統計記錄 文章目錄題目提前聲明:數據庫中的表知識儲備解題思路難點一:難點二:答案 題目 即:不同年齡段的客戶信息。 提前聲明: 本題是作者根據自己的知識獨立解決,並非標準答案,如果更

原创 mysql與子查詢

原文鏈接 同樣的,使用goods表來練習子查詢,表結構如下: 所有數據(cat_id與category.cat_id關聯): 類別表: mingoods(連接查詢時作測試) 回到頂部 一、子查詢 1、where型子查詢:把