原创 系統業務數據倉庫

第1章 電商業務與數據結構簡介 1.1 電商業務流程 1.2 電商常識(SKU、SPU) SKU=Stock Keeping Unit(庫存量基本單位)。現在已經被引申爲產品統一編號的簡稱,每種產品均對應有唯一的SKU號。 SPU

原创 OLAP(聯機分析處理)和OLTP (聯機事務處理)的區別

當今的數據處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統的關係型數據

原创 java.net.BindException: Problem binding to [cts02:8031] java.net.BindException: 無法指定被請求的地址

解決方式: 如果在完全分佈式部署,Namenode和ResourceManger如果不是同一臺機器,不能在NodeManager上啓動 yarn,應該在ResouceManager所在的機器上啓動yarn 報錯信息: Caused

原创 hive表中字段出現亂碼問題

原因:Hive元數據存儲在Mysql中採用默認latin1編碼,導致開發環境出現了這個問題,解決方法如下所示: 1.進入mysql ,執行 show create database hive 查看hive 數據

原创 Linux永久修改主機名

1.修改配置文件 /etc/sysconfig/network: vi /etc/sysconfig/network 2.修改配置文件:vi /etc/hosts vi /etc/hosts 3.修改配置文件 /etc/hos

原创 雲網校大數據開發筆試題

一、必答題 1、實現快速排序、歸併排序、堆排序中的一種(注:語言不限,不接受僞碼) 2、請畫出HDFS讀取、寫入文件流程圖 3、fct_score表中記錄了近幾個月學生的考試得分情況,具體內容如下: 題目要求: 1.請用HQL或

原创 namenode: Unknown command

hadoop格式化命令: bin/hdfs namenode -format bin/hadoop namenode -formader

原创 大數據技術之Spark基礎解析

大數據技術之Spark基礎解析 第1章 Spark概述 1.1什麼是Spark 1.2Spark內置模塊 Spark Core:實現了Spark的基本功能,包含任務調度、內存管理、錯誤恢復、與存儲系統交互等模塊。Spark Cor

原创 hiveSQL案例

1-請詳細描述將一個有結構的文本文件student.txt導入到一個hive表中的步驟,及其關鍵字 •假設student.txt 有以下幾列:id,name,gender三列 •1-創建數據庫 create database st

原创 SQL筆試題

https://www.cnblogs.com/guxia/p/7878657.html 點贊 收藏 分享 文章舉報 w13716207404 發佈了33 篇原創文章

原创 hive亂碼問題

在線安裝mysql的修改方式 ①修改編碼,設置爲utf-8 在 mysql 配置文件/etc/my.cnf(不需要拷貝)中[mysqld]的下面增加以下內容 init_connect='SET collation_connecti

原创 永久修改MySQL字符編碼

1.登錄數據庫,查看數據庫字符編碼表 : 查看編碼SQL: SHOW VARIABLES LIKE ‘character%’; show variables like ‘char%’; 2.退出數據庫,修改mysql配置文件,改

原创 SQL常見面試題

SQL常見面試題 1.用一條SQL 語句 查詢出每門課都大於80 分的學生姓名 name kecheng fenshu 張三 語文 81 張三 數學 75 李四 語文

原创 Like示例

// 查詢姓陳的有哪些 SELECT * FROM user WHERE NAME LIKE '陳%'; // 查詢姓名第二個字是新的人 SELECT * FROM user WHERE NAME LIKE "_新%"; // 查

原创 Watermark 案例

/** * * Watermark 案例 * * Created by xuwei.tech. */ ```java public class StreamingWindowWatermark { publ