原创 阿里雲大數據組件的基本介紹
阿里雲大數據組件的基本介紹 注意：本文結合了本人對Hadoop生態和Spark的理解，閱讀本文需要對傳統的大數據組件有基本的認識和了解。本文不具備權威性，若要準確地瞭解阿里雲大數據組件的特性請直接查看阿里雲幫助文檔。 目錄 阿里雲大數據組
2020-07-05 12:16:37
原创 IP地址、子網掩碼、默認網關、DNS服務器基本概念
參考鏈接：https://www.cnblogs.com/JuneWang/p/3917697.html IP地址： IP地址不做詳細解釋，內網的IP地址是由網絡地址和主機地址組成。 子網掩碼： 下面說說子網掩碼是什麼，子網掩碼是
2020-06-12 19:16:33
原创 爲什麼會出現存儲過程？存儲過程到底有什麼用？
原文：存儲過程到底有什麼用？ - 虎哥的回答 - 知乎 https://www.zhihu.com/question/21345483/answer/656171236 存儲過程到底有什麼用？ 最近有個朋友在研究存儲過程的事兒。看着他在那
2020-05-27 06:03:06
2
原创 Oracle報錯:Cant open editor connection
用DBeaver客戶端鏈接Oracle建表的時候報錯： IO 錯誤: Got minus one from a read call, connect lapse 1 ms., Authentication lapse 0 ms. G
2020-05-20 14:01:55
9
原创 MySQL報錯：SQL錯誤[1146][42s02]: Table 'tablename' doesn't exist（記一次以爲自己刪庫的經歷）
先說一下這篇文章包含的知識點：bin_log服務查詢，bin_log文件轉爲SQL文件，MySQL重啓，MySQL磁盤不足報錯，MySQL表名大小寫配置 事情起因： 操作數據庫的是我們的萌新妹子，不太懂MySQL數據庫這些東西，只會用，不
2020-05-10 03:40:10
11
原创 大數據Spark Streaming實時項目：日誌+Flume+Kafka+Spark Streaming+HBase+ECharts
需求：實時顯示網址的點擊量 編寫日誌生成腳本，編寫Flume配置文件，Flume source爲日誌文件，Flume sink爲Kafka，編寫Spark Streaming程序，整合Kafka，清洗數據，把統計結果寫入到HBase數據庫
2020-05-08 16:47:54
原创 Spark Streaming 整合 Kafka（Receiver方式）在本地環境運行
步驟概述 1 啓動zookeeper 2 啓動Kafa 3 創建kafka topic 4 通過控制檯測試本kafka topic是否能夠正常的生產和消費信息 5 寫Spark Streaming代碼 6 啓動Spark Streamin
2020-04-05 18:37:00
原创 Scala Spark Streaming 讀取 HDFS 文件 WordCount
pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht
2020-03-19 23:54:52
原创 Spark Java Api Lambda 表達式 WordCount 例子
注意：Lambda表達式Java8以後的版本纔有 pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0
2020-03-18 16:06:19
原创 Scala Spark WordCount 例子
pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht
2020-03-18 16:06:19
原创 使用 Spark Java Api 進行 WordCount
pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="h
2020-03-18 16:06:19
原创 linux安裝redis以及配置redis desktop manager可視化工具
選擇在Linux下安裝redis，現在採用虛擬機安裝的centos7 進行安裝的 1.安裝gcc redis是c語言編寫的 yum install gcc-c++ 2.下載redis安裝包,在root目錄下執行 wg
2020-03-17 12:47:51
原创 Oracle查看所有序列、刪除序列、清空表
//查看所有序列 select * from user_sequences; //刪除序列 drop sequence 序列名; //清空表 truncate table 表名;
2020-02-26 14:41:34
原创 Oracle用序列和觸發器實現ID自增
//用序列和觸發器實現ID自增 //1 創建序列 create sequence 序列名 increment by 1 start with 1 maxvalue 9999999999999999999999999999 nocycle
2020-02-26 14:41:24
1
原创 hive建分區表、建導入數據格式爲csv的表、加載數據、刪表、清空表語句、查詢結果導出爲csv格式、運行sql文件
//建分區表 CREATE TABLE 表名 ( host STRING, uri STRING, x_online_host STRING, user_agent STRING ) PARTITIONE
2020-02-26 14:41:24