原创 Sqoop基本語法簡介

簡介: 本篇文章主要介紹sqoop的基本語法及簡單使用方法。 1.查看命令幫助 [hadoop@hadoop000 ~]$ sqoop help usage: sqoop COMMAND [ARGS] Available comman

原创 【MySQL】Xtrabackup備份及恢復腳本

簡介: 此備份腳本的策略是每週日和週三進去全備 其餘每天增量備份。 # 備份腳本XtraBackup.sh: #!/bin/bash # filename : XtraBackup.sh # Author : w

原创 Hive基礎sql語法(DDL)

前言: 經過前面的學習 我們瞭解到Hive可以使用關係型數據庫來存儲元數據,而且Hive提供了比較完整的SQL功能 ,這篇文章主要介紹Hive基本的sql語法。 首先了解下Hive的數據存儲結構,抽象圖如下: 1.Databas

原创 Hive內部函數簡介及查詢語法

1.Hive內置函數: 在Hive中 系統給我們內置了很多函數 具體參考官方地址 看下官網給我們的介紹: SHOW FUNCTIONS; --查看所有內置函數 DESCRIBE FUNCTION <function_name>; --

原创 【MySQL】利用binlog回滾DML操作

簡介: 數據庫運行過程中難免會發生誤操作,特別是在測試環境 開發人員或測試人員有時會誤刪或者更新錯誤某些數據。這時可以用binlog閃回DML操作。 條件: 1.mysql binlog必須存在且是row格式的 2.反向生成的表必須

原创 【MySQL】mysqlbinlog相關簡介

binlog簡介: 二進制日誌,記錄對數據發生或潛在發生更改的SQL語句,並以二進制的形式保存在磁盤中。 作用: MySQL的作用類似於Oracle的歸檔日誌,可以用來查看數據庫的變更歷史(具體的時間點所有的SQL操作)、數據庫增量

原创 【MySQL】主從異步複製配置

簡介: Mysql的 主從同步 是一個異步的複製過程,從一個 Master複製到另一個 Slave上。在 Master 與 Slave 之間的實現整個複製過程主要由三個線程來完成,其中兩個線程(Sql線程和IO線程)在 Slave 端,

原创 【MySQL】mysqldump備份與恢復

簡介: mysqldump常用於MySQL數據庫邏輯備份。 備份操作: 1.備份所有庫: mysqldump -uroot -pyourpass --all-databases > /tmp/all.dump 2.備份單個庫:

原创 【MySQL】mysqlbinlog_flashback工具使用

簡介: mysqlbinlog_back.py 是在線讀取row格式的mysqld的binlog,然後生成反向的sql語句的工具。 一般用於數據恢復的目的。 所謂反向的sql語句就是如果是insert,則反向的sql爲delete

原创 20180605早課記錄25-Linux

1.vi,清空文件內容,然後從window記事本拷貝內容去Linux文件裏,哪些命令?注意點是什麼? 命令行模式下輸入gg + dG清空文件 注意要在編輯模式複製,如果在命令模式複製,會丟失前幾行 2.執行一個命令,說not found,

原创 20180607早課記錄26-Hive

1.hive哪些sql會觸發mr job 帶聚合函數,某些insert,還有create table as select 2.create table t as select …這樣的SQL會不會創建mrjob 會 3.hive的數據分爲

原创 Hive基礎sql語法(DML)

DML操作(Data Manipulation Language) 參考官方文檔: DML文檔 因update和delete在Hive中一般用不到,本篇文章不做講解。本文主要介紹Load和insert操作。 1. LOAD(加載數據)

原创 20180604早課記錄24-Hive

1. hive數據分爲哪兩塊?分別存儲在哪? 元數據和數據本身; mysql等關係型數據庫 和 hdfs 2. hive的建表SQL語句你們覺得裏有哪些內容?(不光光是字段的定義) 定義分區,分隔字符,內外表之分 3. 默認的換行符和分

原创 Hive簡介及源碼編譯

Hive簡介: Hive是一個基於Hadoop的數據倉庫,可以將結構化數據映射成一張表,並提供類SQL的功能,最初由Facebook提供,使用HQL作爲查詢接口、HDFS作爲存儲底層、MapReduce作爲執行層,設計目的是讓SQL技能