原创 Centos7啓動zookeeper無法連接2181端口
啓動zookeeper，能ping通虛擬機，但telnet ip+端口發現連接超時或拒絕 排查思路 首先查看IP是否一樣 zookeeper是否啓動成功 bin/zkServer.sh status或者ss -ntl | gre
2020-05-09 17:08:19
原创 phoenix和hbase表遷移
工作中有時因爲溝通問題，在phoenix中新建的表和hbase導入數據到表名稱不一樣，需要將有數據的表名更改爲線上有的表名。 思路：在hbase中通過快照方式將有數據的表遷移到線上用的phoenix表 先禁用舊錶 disable
2020-05-09 17:08:19
1
原创 Centos7 連接不了外網
安裝centos7 後，可以ping通內網，但ping www.baidu.com等外網時報錯：ping: www.baidu.com: Name or service not known 如果是一樣的，查看路由情況：rout
2020-04-27 01:33:08
原创 查看centos版本及位數
方法一： uname -a Linux bigdata.fuyun.com 3.10.0-1062.el7.centos.plus.i686 #1 SMP Wed Aug 14 17:40:53 UTC 2019 i686 i68
2020-04-27 01:33:08
原创 phoenix表結構修改（新增字段，字段類型修改）
文章目錄修改思路開始操作創建模擬表插入數據添加字段將新增的字段數據補齊刪除字段查看元數據查看錶的主鍵修改元數據舉一反三查看錶信息 計劃總是趕不上變化，在實際開發中，需求總會不斷變更，比如需求開始只需要在phoenix中創建5個字
2020-04-15 09:26:04
22
原创 HBase Shell命令（DDL/DML等命令介紹）
文章目錄啓動HBase ShellHBase Shell相關命令通用命令help命令namespace操作create_namespacelist_namespacelist_namespace_tablesalter_names
2020-04-15 09:26:04
原创 HBase組成架構
文章目錄HBase組成ZookeeperHMasterHRegionServerHDFSHBase架構MemStoreHLogStoreFile和HFile HBase組成 HBase主要有以下四大組件：Zookeeper（高可
2020-04-15 09:26:04
原创 pandas對csv操作基礎學習
以下操作我使用的python版本爲3.6.5 導包 import pandas as pd import numpy as np from pandas import Series,DataFrame 讀取csv文件 credi
2020-03-30 21:24:48
原创 hive中字符串比較，按位置逐個比較
思考： 字符串’20200222’比’202003’大還是小？ 'abcd’比’acb’大還是小？ 字符串’20200222’比’202002’大還是小？ 我毫無猶豫的給出了答案：三個都是大於。 正確到底結果是什麼？我們用代碼
2020-02-24 06:12:40
原创 hive通過grouping sets多維度組合去重統計避免使用distinct
在hive中，如果遇到多維度組合統計，並且要進行去重統計，例如統計不同維度組合的訪問用戶數，比如統計運營商、手機品牌、網絡類型的用戶數，怎樣避免不用ditinct（因爲distinct效率低），並且grouping__id和以前維
2020-02-24 06:12:40
原创 Java中的volatile
目錄可見性保證Happens-before 保證volatile 並不能滿足所有場景什麼時候單單使用 volatile 就夠了？volatile 的性能考慮 Java的關鍵字 volatile 用於將變量標記爲“存儲於主內存中”
2020-02-21 12:26:26
原创 Java中==和equals的區別
Java程序中測試兩個變量是否相等有兩種方式：一種是利用==運算符，另一種是利用equals()方法的功能。當使用==來判斷兩個變量是否相等時，如果兩個變量是基本類型，且都是數值類型（不一定要求數據類型嚴格相同），則只要兩個變量的
2020-02-21 12:26:25
原创 shell按小時循環執行hive腳本
在開發中，經常會遇到重刷以前腳本或提取以前數據，由於數據量極大，集羣資源不夠，只能按小時跑數據，怎樣編寫腳本輸入開始日期、開始小時、結束日期、結束小時自動跑數呢？ 提供以下腳本供參考： #!/bin/sh #***********
2020-02-21 12:26:25
原创 linux清空文件內容快捷方式
目錄1. 通過重定向到 Null 來清空文件內容2. 使用 'true' 命令重定向來清空文件3. 使用 cat/cp/dd 實用工具及 /dev/null 設備來清空文件4. 使用 echo 命令清空文件5. 使用 trunca
2020-02-21 12:26:25