原创 Linux設置用戶命令別名

在工作中上Linux主機,有些很長的命令經常用到,每次輸入很繁瑣,我們可以設置命令別名,後面輸入簡單的別名就可以了。具體操作如下: ll -a vim .bash_profile alias 別名='執行命令' 修改完,需要

原创 Hbase的SQL中間件Phoenix

    前面介紹了Hbase,知道了hbase有很多的優點,但是使用起來是不是感覺不得勁,爲什麼呢?因爲不能使用我們大家所熟悉的SQL語言進行數據的讀寫,並且在Java項目中使用的是Hbase提供的API操作數據,不能使用JDBC

原创 Hadoop報錯 Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded

今天在查看Hadoop平臺上HDFS數據文件文件半天沒反應,最後報錯:Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceede

原创 NotePad++換行替換成逗號

我們在測試過程中對一些數據格式需要轉換,這裏記錄下一個小技巧,如下圖所示:

原创 DBVisualizer工具連接Phoenix

爲了避免每次遠程主機操作phoenix的麻煩,這裏介紹下使用DBVisualizer工具連接Phoenix操作。 1、工具清單 DBVisualizer 我這裏是版本V9.0 HBase 和 Phoenix 部署在雲主機上 pho

原创 spark建表報錯

在spark主機上,用以下命令進入 /usr/dp/current/spark-client/bin/beeline -u jdbc:hive2://paas-test-storm-001.domain:10015 執行建表語句

原创 分佈式列存儲數據庫Hbase常用命令

這裏給出經常用到的一些Hbase命令 hbase shell --連接 ctrl+back --刪除錯誤輸入字符 version --查看版本 status --查看hbase服務運行狀態 list --列出所有表 l

原创 分佈式列存儲數據庫Hbase讀寫流程

這裏先大概記錄下Hbase數據的讀寫交互流程,後面研究了Hbase源碼有了深入體會再繼續敘述詳細的讀寫原理實現。 讀數據流程 HBase讀數據是比寫數據更加複雜的操作流程,這主要基於兩個方面的原因:一是整個HBase存儲引擎基於L

原创 分佈式列存儲數據庫Hbase簡述

    Hadoop 可以通過 HDFS 來存儲結構化、半結構甚至非結構化的數據,它是傳統數據庫的補充,是海量數據存儲的最佳方法,它針對大文件的存儲,批量訪問和流式訪問都做了優化,同時也通過多副本解決了容災問題。但是 Hadoop

原创 常用的一些kubectl命令

最近使用kubectl命令比較多,這裏總結出一些自己經常用到的命令,如下: kubectl --help kubectl cluster-info --查看集羣信息 kubectl get cs --查看集羣健康狀態 kub

原创 Hexo博客Next主題更換

主要參考了以下鏈接的內容: https://blog.csdn.net/weixin_39345384/article/details/80785373 https://blog.csdn.net/nightmare_dimple

原创 Nginx報錯 403 Forbidden

今天更新服務,重新上傳了前端頁面文件,但是發現訪問報:403 Forbidden 我刷新了瀏覽器緩存,還是一樣報錯。奇怪了,我也沒有修改nginx配置啊。 後來一分析,既然是“Forbidden”說明是哪裏沒有訪問權限造成的。後

原创 BOSS 業務運營支撐系統

今天又簡單的介紹幾個概念,我覺得要深入瞭解某個技術,首先要把概念搞清楚,這樣在宏觀理解上將更加深入。本人工作所屬電信行業,所以下面所介紹的幾個概念都是基於電信行業的。 BSS:Business support system 業務支

原创 數據倉庫Hive簡述

    Hive 是一個構建在 Hadoop 之上的數據倉庫,它可以將HDFS數據文件映射成表,並提供類 SQL 查詢功能,用於查詢的 SQL 語句會被轉化爲 MapReduce 作業提交到 Hadoop 上運行。其實,Hive是

原创 TCP協議的“三次握手”和“四次揮手”及面試題

TCP(TCP,Transmission Control Protocol)是一種面向連接的、可靠的、基於字節流的傳輸層通信協議,它提供着可靠的網絡傳輸服務。首先我們認識下TCP報文及其重要的一些字段屬性。 源端口和目的端口,