原创 springboot 後臺啓動
直接啓動：java -jar crawler_batch-0.0.1-SNAPSHOT.jar 這樣的問題：啓動窗口關掉時,springboot服務同時也關掉了 java -jar crawler_batch-0.0.1-SNAP
2020-02-25 07:26:08
原创 springboot計劃任務(定時任務)
從spring3.1開始，計劃任務在spring中變得異常簡單。 具體操作： 1.在配置類上添加@EnableScheduling註解來開啓對計劃任
2020-02-25 07:26:08
原创 redis一：安裝以及常見操作
redis安裝：1.tar -zxvf 文件名：解壓文件2.cd redis_version:進入到redis目錄3.make:編譯redis4.c
2020-02-25 07:26:08
原创 hive體系結構和執行流程
HIVE是什麼？ Hive是hadoop上處理結構化數據的數據倉庫基礎工具，用來處理存儲在hadoop上的海量數據,使用hive可以使查詢和分析變得更簡單。 Hive起初是有facebook開發,後來貢獻給apache基金會的，apach
2020-02-25 07:25:57
原创 storm二之storm核心概念
Apache storm——核心概念 Apache Storm reads raw stream of real-time data from one end and passes it through a sequence of sma
2018-09-02 09:51:25
1
原创 hive中表的創建以及數據的加載
本文介紹何如在hive中創建表以及加載數據 建表語法： CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name [(col_name data
2018-09-02 09:51:25
原创 hive表分區
Hive對錶有分區的功能。 Hive根據表的列屬性值,諸如日期,城市,部門對錶進行分區,使用分區,能夠很容易查詢到數據的一部分。 表或分區被分爲buckets(桶),以便爲數據提供額外的數據結構,該數據結構被用於提升查詢的有效性。 buc
2018-09-02 09:51:25
原创 hive中的數據類型
本文將介紹hive中創建表時涉及的不同的數據類型。Hive中的數據類型分爲以下四種： Column Types列類型Literals文字Null Values空值Complex Types複雜類型 Column Types列類型 Co
2018-09-02 09:51:25
原创 storm七之storm java示例
通過前面6個章節，我們大致瞭解apache storm的核心細節了，現在我們開始寫一些簡單的代碼，來感受下storm的魅力。 場景——移動呼叫日誌分析 移動電話呼叫號及其持續時間將作爲Apache stormd的輸入流,storm將根據撥
2018-09-02 09:51:22
原创 storm一之storm是什麼
Apache storm是什麼?Apache storm是一個分佈式實時大數據處理系統。storm的目的是提供容錯和水平可伸縮擴展的方式處理大量數據。storm是一個高吞吐率流數據處理框架。雖然storm是無狀態的,它通過Apache z
2018-09-02 09:51:21
原创 Storm六之storm安裝
我們現在來看看如何在自己的機器上安裝storm。 主要分爲三步： 1.安裝java環境 2.安裝zookeeper環境 3.安裝storm 步驟1和2省略，不會請自行百度。 下面開始安裝storm的步驟(此時java和zookeepe
2018-09-02 09:51:21
原创 hive group by
本章介紹了SELECT語句的GROUP BY子句。GROUP BY子句用於分類所有記錄結果的特定集合列。它被用來查詢一組記錄。 語法 GROUP BY子句的語法如下： SELECT [ALL | DISTINCT] select_exp
2018-09-02 09:51:20
1
原创 hiveQL Select Order By
本章介紹瞭如何使用SELECT語句的ORDER BY子句。ORDER BY子句用於檢索基於一列的細節並設置排序結果按升序或降序排列。 語法 下面給出的是ORDER BY子句的語法： SELECT [ALL | DISTINCT] sel
2018-09-02 09:51:20
4
原创 kafka一之配置文件說明
broker.id =0 每一個broker在集羣中的唯一表示，要求是正數。當該服務器的IP地址發生改變時，broker.id沒有變化，則不會影響consumers的消息情況,最大值爲255 log.dirs=/data/kaf
2018-09-02 09:51:20
原创 hive視圖和索引
本章介紹如何創建和管理視圖。根據用戶的需求創建視圖。可以將任何結果集數據保存爲一個視圖。視圖在Hive的用法和SQL視圖用法相同。它是一個標準的RDBMS概念。我們可以在視圖上執行所有DML操作。 創建一個視圖 可以創建一個視圖，在執行S
2018-09-02 09:51:20
3