原创 java調用hive時必須啓動hiveserver
hiveserver啓動方式 1， hive 命令行模式，直接輸入/hive/bin/hive的執行程序，或者輸入 hive –service cli 用於linux平臺命令行查詢，查詢語句基本跟mysql查詢語
2020-06-19 17:23:30
原创 storm理解
nimbus上會根據提交的topology，產生具體的task，一個task或許是acker、bolt或spout，然後，nimbus會根據當前可用的資源，即supervisor們在zk上註冊的信息，看有多少個worker可用，然後均勻分
2020-06-19 17:23:30
原创 hive數據類型(翻譯自Hive Wiki)
翻譯自 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types 列類型 Hive支持的數據類型如下: 原生類型: TINYINTSMALLINTI
2020-06-19 16:40:22
原创 hive和impala比較（轉載）
1. Impala架構 Impala是Cloudera在受到Google的Dremel啓發下開發的實時交互SQL大數據查詢工具（實時SQL查詢引擎Impala），Impala沒有再使用緩慢的Hive+MapReduce
2020-06-19 16:40:22
原创 windows10下安裝tensorflow2.0-GPU和Cupy（不用搞CUDA+cudnn）
0.前言 今年暑假買了個1660ti的遊戲本學python，後來發現跑一些數據量比較大的代碼和深度學習的時候太慢了，遂想裝一下GPU版本，看了網上的資料搞了好幾天，又是CUDA又是cudnn的，網速慢不說，裝完還各種報錯，最後發現隨着
2020-06-19 16:40:11
1
原创 淺談mysql分表
關於分表：顧名思義就是一張數據量很大的表拆分成幾個表分別進行存儲。 我們先來大概瞭解以下一個數據庫執行SQL的過程： 接收到SQL --> 放入SQL執行隊列 --> 使用分析器分解SQL --> 按照分析結果進行數據的提取或者修改
2020-06-19 16:40:11
原创 hadoop中使用MapReduce編程實例（轉）
原文鏈接：http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 從網上搜到的一篇hadoop的編程實例，對於初學者真是幫助太大了，看過以後對MapReduc
2020-02-20 20:39:19
原创 storm 簡介及單機版安裝指南
本文翻譯自： https://github.com/nathanmarz/storm/wiki/Tutorial Storm是一個分佈式的、高容錯的實時計算系統。 Storm對於實時計算的的意義相當於Hadoop對於批處理的意義
2020-02-20 20:39:19
原创 impala入門基礎教程
問題背景： 初步瞭解Impala的應用 重點測試Impala的查詢速度是否真的如傳說中的比Hive快3~30倍 寫作目的： 瞭解Impala的安裝過程 初步瞭解Impala的使用 比較Impala與Hive的性能
2020-02-20 20:39:17
原创 hadoop jar命令解讀
假如執行下面命令： cd /home/hadoop/ && hadoop jar ./test/wordcount/wordcount.jar o
2020-02-20 20:39:17
原创 msql數據備份與還原
一數據庫備份： 1.將單個表導出爲csv文件 數據表導出csv語句： select *from TSI_20140206_0_20120701 into outfile '/home/maysqldata/TSI_20140206_0_2
2020-02-20 20:39:17
原创 Jedis操作redis（轉）
package org.jzkangta.jedis; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import j
2020-02-20 20:39:17
原创 開源日誌系統比較：scribe、chukwa、kafka、flume（轉載）
1. 背景介紹 許多公司的平臺每天會產生大量的日誌（一般爲流式數據，如，搜索引擎的pv，查詢等），處理這些日誌需要特定的日誌系統，一般而言，這些系統需要具有以下特徵： （1） 構建應用系統和分析系統的橋樑，並將它們之間的關聯解耦；
2020-02-20 20:39:17
原创 多線程對同一個類操作時注意的問題
今天看到一段很有意思的小程序，講述了線程之間調用同一個類屬性的例子： 線程1： public class MyThreadClass1 implements Runnable { public void run() { Temp
2020-02-20 20:39:17
原创 ssh scp兩臺linux服務器之間傳遞文件或文件夾
如果ssh的端口是22，那麼可以不用指定-p或-P選項。1.ssh Linux使用ssh命令登陸Linux服務器： ssh -l root -p 188 192.168.1.2 ssh -l 用戶名 -p 端口號 主機名或IP 輸入密碼即
2020-02-20 20:39:17