原创 Hadoop的各個啓動進程介紹
守護進程：NameNode，DataNode，ResourceManager，NodeManager，JournalNode，DFSZKFailoverController等 備註：本文截圖出自數據《Hadoop權威指南_第四版_中文版.
2020-06-17 06:42:21
原创 hadoop報錯：hadoop.security.AccessControlException: Permission denied: user=liyang, access=WRITE
hadoop在通過idea進行文件保存時， @Test public void putFile() throws Exception { Configuration conf = new Configurati
2020-06-17 06:42:21
原创 kafka安裝與基礎
本文屬於實操本人親測若有雷同，請包涵。 先學習安裝使用kafka，後續文章完善關於kafka的概念，便於加深對概念的理解 使用kafka版本： kafka：kafka_2.11-2.3.0.tgz 下載鏈接： 鏈接：https://pan
2020-06-17 05:44:24
原创 Mysql索引、page、B+tree可存行數判斷
有很多關於Mysql索引選擇B+Tree的文章，就不做累述，這篇文章主要介紹關於B+Tree中可以保存大概多少列的索引信息，本文儘量基於官網介紹含出處。 page 個人理解：與linux中內存讀取緩存一樣，爲了批量的緩存數據到內存中，設
2020-06-07 18:02:28
原创 java內存模型及運行時數據區
java中內存模型劃分及Runtime Data Area（運行時數據區） 在Java中我們常常說到的內存管理就是針對運行時數據區進行管理（如何分配和回收內存空間）。 VM中的運行時數據區應該包括(1,2,3,4,5)。在JVM規範中雖然
2019-07-02 23:45:21
原创 java的四大引用對象
總結： 強引用:StrongRefrence 例子：Object Obj = new Object() ;String str = "123" 用途：任何適合 特點：1、GC絕對不
2019-06-27 12:23:54
原创 Hbase由於時間不一致導致regionserver節點啓動失敗
背景：hadoop的hdfs的各個進程啓動正常（UI頁面訪問也正常），啓動hbase時，hmaster進程正常啓動，hregionserver節點啓動失敗，報錯：（regionserver.HRegionServer: STOPPED:
2019-06-11 04:02:17
原创 git拉取遠程分支分支名稱含括號時的拉取
問題場景描述：git本地拉取遠程分支 ，通過命令$>git branch -r 可以獲取到遠程分支名稱，但是通過命令$>git checkout -b test(11) origin/test(11) 獲取遠程分支時無法拉取下來（報錯：遠
2019-04-20 02:11:58
33
原创 hive刪除表時報錯，解決方案
報錯： 1、查看hive使用的mysql連接的jar包， 若爲：mysql-connector-java-5.1.17.jar（沒帶bin的jar包），修改爲mysql-connector-java-5.1.46-bin.jar（
2018-12-25 16:14:52
1
原创 shell腳本使用crontab做定時執行
1、編寫腳本： #!/bin/bash if [ ! -f "/home/hadoop/shell/crontab/test" ]; then echo "test文件不存在" touch /home/hadoop/shell/cron
2018-12-23 21:34:30
原创 linux 安裝hadoop 的四大運行模式——HA高可用分佈模式（版本2.9.1）
hadoop的HA高可用配置：hadoop的名稱節點部署在不同的服務器上（簡單理解），具體定義請自行查詢 備註：簡述過程如果前面步驟按步驟進行，後續的步驟就不做詳細解釋 準備：創建h105作爲高可用的名稱節點（namenode），一般會再
2018-12-23 21:34:30
原创 Hive安裝配置
前期準備：hive版本2.1.0 hadoop版本2.9.1(一般hadoop版本在2以上就支持hive2以上版本) 提前hadoop環境配置好，主要是hadoop的hdfs環境（可以是僞分佈式，也可以是完全分佈式或是HA） hiv
2018-12-23 21:34:30
原创 Java中（靜態）變量、（靜態）代碼塊的執行順序包含父類
1、parent類（父類） public class parent { public static int parentParamOne = 1; public static String parentParamTwo
2018-12-23 21:34:30
原创 python的第一個腳本
使用python語言製作腳本 1、前期準備，查看本地python 是否安裝 （若未安裝請查看曾經博客內容） $>python -V (備註：注意"V"爲大寫，小寫v進入python的命令界面） 2、製作文件helloWord.py 內
2018-12-23 21:34:30
原创 mysql關於數據庫事務隔離級別測試（包含實例測試語句，及測試結果對比）
1、知識點； 事務的四大特性 ACID ； 原子性(Atomic):事務是一個整體（無論在該事務中操作任何CRUD），要不全部執行，要不全部不執行。（數據庫能夠進行操作的最小的邏輯單元） 一致性(Consistent):組成一個事務的操
2018-12-13 21:06:37