原创 Java8 JDK8
1、爲什麼要學Java8？ 1.1 簡介 速度更快（底層的數據結構做了一些更新和改動，垃圾回收機制內存結構做了一些改動） 代碼更少（增加了新的語法Lambda表達式） 強大的StreamAPI 便於並行 最大化減少空指針異常（Optio
2018-12-25 15:41:26
原创 Hive drop table時沒有反應
Hive drop table時沒有反應 Hive drop table時沒有反應，於是強制中斷。 網上找了很久的方法，終於在一個大神那裏找到了解決之法。但寫的略簡單，下面對其進行補充。 mysql> show variables l
2018-12-12 16:58:40
2
原创 Python3 Flask框架
Flask框架 內容原創，侵權必究。學習分享請註明地址：https://blog.csdn.net/Jackie_ZHF/article/deta
2018-09-13 09:57:23
原创 Hadoop之block副本放置策略 Rack機架感知源碼
注意：block副本放置策略相關描述在Hadoop官網和源碼實現與描述不一致。官網是第一個和第二個副本在同一機架上，第三個在不同機架上 更多隨意。但是具體實現如下：•Block的副本放置策略 –第一個副本：放置在上傳文件的DN；如果
2018-09-03 20:30:46
6
原创 誤刪HBase數據如何搶救？
數據保護當誤刪數據發生時候，不管三七二十一，第一要務是進入hbase shell，執行如下命令：如果誤刪一張表的有多個family裏的數據，需要都執行一下：alter 'tt', { NAME => 'f1', KEEP_DELETED_
2018-09-03 20:30:46
原创 CDH5.4離線安裝
Cloudera Manager離線部署CDH文檔 目錄：Cloudera Manager離線部署CDH文檔... 1目錄：... 1一、說明... 2二、系統環境搭建... 31、網絡配置(所有節點)32、SSH免密碼登錄... 33、
2018-09-03 20:30:46
原创 Python Hadoop使用時注意的坑-- MRJob框架及python環境運行
時間有限複雜的問題簡單說，什麼都不如來乾貨~使用MRJob框架 時用網上說的提交任務到集羣的命令，程序會跑着掛掉。。。報143 127 的錯誤！！後來才發現正確的是：本地運行命令 python my
2018-09-03 20:30:46
原创 HBASE 的二級索引之— —Global Indexing
二級索引之— —Global Indexing轉載自朋友的博客 技術分享，https://my.oschina.net/u/3511143/blog/1808831 侵權必究，轉載請說明1.1 說明在HBase中，只有一個單一的按照
2018-09-03 20:30:46
原创 Linux磁盤掛載--解決Linux擴容和磁盤IO負載問題
Linux磁盤掛載解決擴容問題 增量數據的情況下，使得硬盤容量滿載 解決磁盤IO的負載問題 現有的硬盤IO負載滿載下，爲了增加多個磁盤來分攤壓力，如寫入一個磁盤的目錄下根據業務劃分，寫入掛載到不同磁盤的多個路徑
2018-09-03 20:30:46
原创 Maven
注：本文章來自轉載 http://www.cnblogs.com/hzg110/p/6936101.html 前言：目前所有的項目都在使用maven，可是一直沒有時間去整理學習，這兩天正好有時間，好好的整理一下。一、爲什麼使用Maven這
2018-09-03 20:30:46
3
原创 Python Hadoop的Wordcount入門示例
Hadoop 框架是使用Java編寫的但是我們仍然需要使用像C++、Python等語言來實現 Hadoop程序。儘管Hadoop官方網站給的示例程序是使用Jython編寫並打包成Jar文件，這樣顯然造成了不便，其實，不一定
2018-09-03 20:30:46
原创 Hive優化
轉載請註明出處：https://blog.csdn.net/jackie_zhf/article/details/79999613 Hive 優化核心思想：把Hive SQL 當做Mapreduce程序去優化以下SQL不會轉爲Mapred
2018-09-03 20:30:46
2
原创 HDFS完全分佈式搭建
HDFS完全分佈式搭建[Hadoop1.X]一、環境準備【如果沒有準備好 請查閱然後準備以下環境】1、 JDK (前面已經安裝好了)2、 Linux（前面已經安裝好了）3、 準備至少3臺機器,我們用的是4臺（通過克隆虛擬機；配置好網絡JD
2018-09-03 20:30:46
1
原创 Linux Python3安裝部署和pip安裝
Linux3.5安裝【爲什麼在Python3.X中選擇這個版本，因爲本人要使用TensorFlow深度學習框架，而TensorFlow只支持python3.5版本】 如果本機安裝了python2，儘量不要管他，使用python
2018-09-03 20:30:46