原创 Hive集成Hbase
測試用的版本：hive 2.3.0 hbase2.0.2 1.將hbase lib中的部分jar拷貝到hive的lib下 需要拷貝的jar： hbase-client-2.0.2.jar hbase-common-2.0.2.
2018-12-08 03:29:06
原创 mysql存儲過程
1.含義：一組預先編譯好的SQL語句的集合，理解成批處理語句 （1）提高代碼的重用性 （2）簡化操作 （3）減少了編譯次數並且減少了和數據庫服務器的連接次數，提高了效率 2.創建語法 CREATE PROCEDURE 存儲過程名(參
2018-11-20 12:14:29
原创 mysql中的變量詳解
mysql中的變量分爲系統變量和自定義變量 一、系統變量 1.說明：變量由系統定義，不是用戶定義，屬於服務器層面 2.注意：系統變量包含全局變量和會話變量，全局變量需要添加global關鍵字，會話變量需要添加session關鍵字，如
2018-11-20 12:14:29
原创 mysql中的流程控制結構
一、分支結構 1.if函數 語法：if(條件,值1，值2) 功能：實現雙分支 應用在begin end中或外面 2.case結構 語法： 情況1：類似於switch case 變量或表達式 when 值1 then
2018-11-20 12:14:29
原创 mysql函數詳解
1.含義：一組預先編譯好的SQL語句的集合，理解成批處理語句 1、提高代碼的重用性 2、簡化操作 3、減少了編譯次數並且減少了和數據庫服務器的連接次數，提高了效率 2.函數與存儲過程的區別 存儲過程：可以有0個返回，也可以有多個返回
2018-11-20 12:14:29
原创 大數據常用基本命令——搜索查找類命令
搜索查找類 1.find 查找文件或者目錄 基本語法：find [搜索範圍] [選項] 選項說明： -name<查詢方式> 按照指定的文件名查找模式查找文件
2018-09-04 17:57:02
原创 HDFS常用操作命令
1.啓動 Hadoop 集羣（方便後續的測試） sbin/start-dfs.sh sbin/start-yarn.sh 2.-help：輸出這個命令參數 hadoop fs -help rm 3.-ls:
2018-09-04 17:57:02
2
原创 大數據常用基本命令——用戶管理命令
Linux用戶管理命令 1.useradd 添加新用戶 基本語法： useradd 用戶名 （功能描述：添加新用戶） useradd -g 組名 用戶名 （功能描述：添
2018-09-04 17:57:02
原创 Zookeeper安裝部署
分佈式安裝部署 1.集羣規劃 在 hadoop01、hadoop02 和 hadoop03 三個節點上部署 Zookeeper。 2.解壓安裝 （1）解壓 zookeeper 安裝包到/opt/module/目錄下
2018-09-04 17:57:01
原创 Spark Application運行流程
1.客戶端啓動，初始化相關的環境變量，包括application代碼的提交 2.反射調用org.apache.spark.deploy.yarn.Client，創建AriverActor（其他方式提交，Driver可能運行在Worker
2018-09-04 17:57:01
原创 SparkSql讀取數據和插入數據
一、sparksql讀寫mysql數據 1.讀取 val url = "jdbc:mysql://主機名:端口號" val tableName = "db_name" val properties = new java.util.Prop
2018-09-04 17:57:01
原创 大數據常用基本命令——用戶組管理命令
用戶組管理命令 1.groupadd 新增組 基本語法：groupadd 組名 案例實操： 添加一個ceshi組：groupadd ceshi 2.groupdel 刪除組
2018-09-04 17:57:01
2
原创 大數據常用基本命令——文件權限類命令
文件權限類 1.文件屬性 1）從左到右的10個字符表示 drwxr-xr-x 0 首位表示類型 第1-3位確定屬主（該文件的所有者）擁有該文件的權限。--
2018-09-04 17:57:01
原创 大數據常用基本命令——時間日期類命令
文件目錄類命令 1. date 顯示當前時間 基本語法： （1）date （功能描述：顯示當前時間） （2）date +%Y （功能描述：顯示當前年份）
2018-09-04 17:57:00
原创 SparkSQL基礎
一.sparkSQL發展歷程及定義 1.發展歷程 Hive——>shark(Hive on Spark)-->SparkSQL 2.官方定義 （1）處理結果化數據的spark模塊 什麼是結果化數據？
2018-09-04 17:57:00