原创 Storm記錄005--Storm集羣安裝
以下是依次需要完成的安裝步驟一、安裝JDK1.6二、安裝Zookeeper三、安裝zeromq-2.1.7四、安裝jzmq五、安裝Python-2.7.2六、安裝unzip七、安裝Storm一、下載並安裝JDK1.6 並設置環境變量，如：e
2019-07-19 14:46:11
原创 Storm記錄04-- Storm適用場景
Storm適用場景流聚合：流聚合就是把兩個或多個數據流聚合成一個數據流 -- 基於一些共同的tuple字段。builder.setBolt(5,new MyJoiner(),parallelism) .fieldsGrouping(1,ne
2019-07-19 14:45:59
原创 Storm記錄02-- Storm是什麼
Storm是什麼：如果只用一句話來描述storm的話，可能會是這樣：分佈式實時計算系統。按照storm作者的說法，storm對於實時計算的意義類似於hadoop對於批處理的意義。我們都知道，根據google mapreduce來實現的had
2019-07-19 14:45:59
原创 Storm記錄06--Storm的HelloWorld
Storm學習的HelloWorld1、下載Storm-start(https://github.com/nathanmarz/storm-starter/archive/master.zip)2、進入下載目錄，對zip文件解壓3、進入解壓
2019-07-19 14:45:58
原创 003-storm設計思想和處理過程
1、Storm設計思想 Storm是對流Stream的抽象，流是一個不間斷的***的連續tuple，注意Storm在建模事件流時，把流中的事件抽象爲tuple即元組。 Storm將流中元素抽象爲Tuple，一個tuple就
2019-02-22 17:49:43
原创 sqoop的使用
sqoop的使用----sqoop是一個用來在hadoop體系和關係型數據庫之間進行數據互導的工具----實質就是將導入導出命令轉換成mapreduce程序來實現sqoop安裝：安裝在一臺節點上就可以了。1.上傳sqoop2.安裝和配置--
2019-02-22 17:49:43
原创 深入研究java.lang.Runtime類
一、概述 Runtime類封裝了運行時的環境。每個 Java 應用程序都有一個 Runtime 類實例，使應用程序能夠與其運行的環境相連接。 一般不能實例化一個Runtime對象，應用程序也不能創建自己的 Runtime
2019-02-22 17:49:41
原创 String,StringBuffer與StringBuilder的區別
String 字符串常量StringBuffer 字符串變量（線程安全）StringBuilder 字符串變量（非線程安全） 簡要的說， String 類型和 StringBuffer 類型的主要性能區別其實在於 String 是不可變的對
2019-02-22 17:49:40
2
原创 sqoop學習
Sqoop 是傳統數據庫與 Hadoop 之間數據同步的工具，它是 Hadoop 發展到一定程度的必然產物，它主要解決的是傳統數據庫和Hadoop之間數據的遷移問題。這節課我們將詳細介紹 Sqoop 這個工具。Sqoop 產生背景
2019-02-22 17:49:40
原创 Storm記錄--11- Storm DRPC實戰
DRPC ,Distributed Remote Procedure Call RPC本身是個成熟和古老的概念, Storm裏面引入DRPC主要是利用storm的實時計算能力來並行化CPU intensive的計算DRPC, 只是
2019-02-22 17:49:40
原创 特徵值和特徵向量
從定義出發，Ax=cx：A爲矩陣，c爲特徵值，x爲特徵向量。 矩陣A乘以x表示，對向量x進行一次轉換（旋轉或拉伸）（是一種線性轉換），而該轉換的效果爲常數c乘以向量x（即只進行拉伸）。 我們通常求特徵值和特徵向量即爲求出該矩陣能使哪些向量（
2019-02-22 17:49:39
原创 hadoop讀寫mysql數據庫
hadoop技術推出一度曾遭到關係數據庫研究者的挑釁和批評，認爲MapReduce不具有關係數據庫中的結構化數據存儲和處理能力。爲此，hadoop社區和研究人員做了多的努力，在hadoop0.19版支持MapReduce訪問關係數據庫，
2019-02-22 17:49:33
原创 Storm記錄--10- Storm消息機制
這章討論Storm's reliability capabilities, 如何保證從spout emit出來的所有tuple都被正確的執行(fully processed)?What does it mean for a message
2018-09-11 08:17:44
原创 Storm記錄--12- Storm Transaction 原理+實戰
Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked abou
2018-09-11 08:17:44