原创 牛客SQL-大廠面試真題

某音短視頻 SQL156 各個視頻的平均完播率【簡單】 select t1.video_id, -- 結束觀看時間與開始播放時間的差>=視頻時長時,視爲完成播放 round( avg(if (end_

原创 Flink CDC

第1章 CDC簡介 1.1 什麼是CDC CDC是Change Data Capture(變更數據獲取)的簡稱。核心思想是,監測並捕獲數據庫的變動(包括數據或數據表的插入、更新以及刪除等),將這些變更按發生的順序完整記錄下來,寫入到消息中間

原创 數據庫流轉工具—Maxwell

第1章 Maxwell簡介 1.1 Maxwell概述 Maxwell 是由美國Zendesk公司開源,用Java編寫的MySQL變更數據抓取軟件。它會實時監控Mysql數據庫的數據變更操作(包括insert、update、delete),

原创 騰訊音樂SQL題

1. 計算歌曲完播率 請根據 user_listen_record、song_library計算出QQ音樂20230306歌曲完播率(播放時長>=聽歌時長)輸出表結構如下,其中完播率保留小數點後2位小數並按照完播率重小到大排序: song_

原创 森林火災模擬軟件--FlamMap

FlamMap 是一款在 64 位 Windows 操作系統環境中運行的火災分析桌面應用程序。它可以模擬潛在的火災行爲特徵(蔓延速度、火焰長度、火線強度等)、在恆定環境條件(天氣和燃料水分)下的火災增長和蔓延以及條件燃燒概率。隨着 FARS

原创 Hive On Spark調優

第1章 集羣環境概述 1.1 集羣配置概述 本課程所用集羣由5臺節點構成 其中2臺爲master節點: 用於部署HDFS的NameNode Yarn的ResourceManager 另外3臺爲worker節點,用於部署HDFS的Data

原创 數倉規範詳解

一、設計規範 1.1 數據模型設計 橫向分層 分層設計是數據架構設計的產出之一,在模型設計環節做爲強制規範遵守。 分層規範 ODS: 貼源層,原始數據不做變化或者僅做最簡單的補全後存入。 數據域劃分,依據是數據源。 DWD: 對數據源

原创 牛客SQL-非技術快速入門

01 基礎查詢 SQL1 查詢所有列 select * from user_profile SQL2 查詢多列 select device_id,gender,age,university from user_profile SQL3

原创 HBASE整合Phoenix、Hive

第六章 整合Phoenix 6.1 Phoenix 簡介 6.1.1 Phoenix 定義 Phoenix 是 HBase 的開源 SQL 皮膚。可以使用標準 JDBC API 代替 HBase 客戶端 API來創建表,插入數據和查詢 HB

原创 Zookeeper算法基礎

第一章 算法基礎 思考:Zookeeper 是如何保證數據一致性的?這也是困擾分佈式系統框架的一個難題。 1.1 拜占庭將軍問題 拜占庭將軍問題是一個協議問題,拜占庭帝國軍隊的將軍們必須全體一致的決定是否攻擊某一支敵軍。問題是這些將軍在地理

原创 Hive SQL題庫-高級

第1題 同時在線人數問題 1.1 題目需求 現有各直播間的用戶訪問記錄表(live_events)如下,表中每行數據表達的信息爲,一個用戶何時進入了一個直播間,又在何時離開了該直播間。 user_id(用戶id) live_id(直播

原创 Hive SQL題庫-中級

第一章 環境準備 1.1 用戶信息表 1)表結構 user_id(用戶id) gender(性別) birthday(生日) 101 男 1990-01-01 102 女 1991-02-01 103 女 1992-0

原创 Hive SQL題庫-初級

第一章 環境準備 1.1 建表語句 hive> -- 創建學生表 DROP TABLE IF EXISTS student; create table if not exists student_info( stu_id string

原创 8.x版本JDBC數據庫連接技術

一、前言 1.1課程需要哪些前置技術 技術 版本 備註 idea 2022.2 最新版本 jdk 1.8 mysql-jdbc驅動 8.0.27 8.0.25+ druid 1.1.21 mysq

原创 通用權限系統:(一)搭建環境

一、項目介紹 1、介紹 權限管理是所有後臺系統都會涉及的一個重要組成部分,而權限管理的核心流程是相似的,如果每個後臺單獨開發一套權限管理系統,就是重複造輪子,是人力的極大浪費,本項目就是針對這個問題,提供了一套通用的權限解決方案。 項目服務