原创 Hbase的Java API的利用（有關圖片等數據的put和get）
Hbase是針對海量數據而生的，它的原型爲bigtable，他可以用來存儲各種格式的數據，我們對Hbase的操作常常是在Hbase的shell界面下利用指令對其操作的，但是這遠遠不能夠滿足我們的需求，所以，Hbase的Java
2020-06-16 04:50:30
原创 golang mysql數據庫連接池的理解
最近在使用go語言的orm做一些數據庫的操作，最後發現了一個bug就是invalid connection，所以就去的瞭解了一下鏈接池和mysql的超時時間，下面我就用go的orm+mysql來說明（我理解語言都是相通的，原理應該都是一樣
2020-06-16 04:50:30
原创 Kubernetes之Scheduler源碼分析1.8.3
K8S的scheduler的主要作用是將用戶申請的pods調度到合適的node節點上。具體的來說，就是它通過監聽API server提供的watch等接口，獲取到未調度的pods和node的相關信息，通過對node的篩選，選擇出最合適的也
2020-06-16 04:50:30
原创 c++ 操作HDFS
如果由於業務需求無法用python、java以及命令行來操作HDFS，需要用c++的話，不用着急，libhdfs將是爲你帶來方便。Libhdfs是專門爲c以及c++開發者提供的操作HDFS的API庫，下面就是兩個demo的介紹
2020-06-16 04:50:30
原创 Hadoop benchmark測試及調參
Benchmark Job（hadoop測試） 在對本集羣測試的過程中，我們用到了hadoop自帶的測試函數，其中主要包括Teragen和Terasort兩個方法。 Teragen 該方法是用來生成隨機數據的，其觸發指
2020-06-16 04:50:30
原创 Oozie簡介
Oozie之workflow Apache Oozie是運行在hadoop平臺上的一種工作流調度引擎，它可以用來調度與管理hadoop任務，如，MapReduce、Pig等。那麼，對於OozieWorkflow中的一個個的
2020-02-24 23:45:28
原创 Hbase簡介
Hbase 概念及其使用場景 Hbase是基於HDFS分佈式存儲的分佈式數據庫，它可以用於存儲海量數據，有效的對海量數據進行增刪改查操作。 適用的場景主要包含兩個條件：1.海量數據 2.多運用於增刪改查操作。 存儲結構
2020-02-24 23:45:28
原创 Hadoop之wordcount(Java 原生和Hadoop Streaming)
MapReduce示例：WordCount（Java原生） WordCount是hadoop最經典的一個詞頻統計方法，它很好的體現了MapReducede分合的思想，在集羣中該方法的觸發指令爲：
2020-02-24 23:45:28
原创 Elasticsearch概念
Elasticsearch概念 Elasticsearch是一個基於ApacheLucene(TM)的開源搜索引擎。其概念可以描述爲三點： 1)、分佈式的實時文件存儲，每個字段都被索引並可被搜索 2)、分
2020-02-24 23:45:28
原创 Hbase的NoServerForRegionException: Unable to find region for talk,,99999999999999 after 10 tries問題
第一次使用Hbase的java api來寫程序就遇到了NoServerForRegionException: Unable to find region for talk,,99999999999999 after 10 tr
2020-02-24 23:45:28
原创 利用kubeadm搭建測試kubernetes集羣
使用工具 https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/ kubeadm簡介： kubeadm是kubernetes自帶的快速搭建k
2018-10-27 01:34:25
原创 Kubernetes之Scheduler最新源碼分析
K8S的scheduler的主要作用是將用戶申請的pods調度到合適的node節點上。具體的來說，就是它通過監聽API server提供的watch等接口，獲取到未調度的pods和node的相關信息，通過對node的篩選，選擇出最合適的也
2018-09-03 07:03:36
8
原创 spark demo之wordcount和K-means
由於Scala的學習成本有些高，所以，以下的demo都是基於python的。如果想了解spark架構，可以移步到博客點擊打開鏈接 Wordcount介紹 作爲類似於hello word一樣經典的入門代碼，wordcount主要是完成
2018-09-03 07:03:36
8
原创 Docker鏡像壓縮與優化
現如今docker如此受人追捧，主要是因爲它的輕量化、可以快速部署以及資源的利用。但是一個docker images質量的好與壞，主要取決於Dockerfile編寫的質量。同樣功能的鏡像，但是不同的Dockerfile b
2018-09-03 07:03:35
原创 ubuntu的docker鏡像中安裝ifconfig和ping命令
主要有三部： apt-get update apt-get install net-tools 安裝ifconfig命令 apt-get install iputils-ping 安裝ping命令
2018-09-03 07:03:35
3