原创 [Eclipse構建maven scala和java項目]
Eclipse構建maven scala項目一、安裝環境操作系統：Windows 10Eclipse版本：JVM:1.8Scala版本：2.11.0二、插件安裝2.1 安裝eclipse scala插件從eclipse marketpla
2020-06-27 14:17:30
原创 [Hadoop性能調優]
一、 Hadoop概述 隨着企業要處理的數據量越來越大，MapReduce思想越來越受到重視。Hadoop是MapReduce的一個開源實現，由於其良好的擴展性和容錯性，已得到越來越廣泛的應用。 Hadoop實現了一個分佈式文件系統（
2020-06-27 14:17:30
3
原创 Elasticsearch文檔表現及服務API操作
ElasticSearch是一個基於Lucene的搜索服務器，它提供了一個分佈式多用戶能力的全文搜索引擎，基於RESTful web接口。Elasticsearch是用Java語言開發的，並作爲Apache許可條款下的開放源碼發佈，是一種
2020-06-27 14:17:30
原创 HBase基於shell的增刪改查等操作命令
1、基本命令 1.1 查詢狀態（status） hbase(main):009:0> status 1.2 查看版本(version) hbase(main):001:0> version 1.3 查看幫助信息(help)
2020-06-27 14:17:30
原创 MYSQL索引及查詢優化
一、什麼是索引 索引類似是大型圖書館建立書目索引，可以提高數據檢索的效率，降低數據庫的IO成本。MySQL在數據量較大(官方文檔說500~800w記錄)的情況下性能開始逐漸下降，所以大數據量建立索引來提高數據的檢索效率是非
2020-06-27 14:17:30
1
原创 [阿里OSS存儲對象之Bucket訪問]
Bucket是OSS上的命名空間，權限控制、日誌記錄等高級功能的管理實體；Bucket名稱在整個OSS服務中具有全局唯一性，且不能修改；存儲在OSS上的每個Object必須都包含在某個Bucket中。一個應用，例如圖片分享網
2020-06-27 14:17:30
5
原创 dubbo接口調試工具
最近的項目使用來dubbo進行開發，雖然可以使用telne客戶端t進行dubbo的接口的調試，但總感覺調試起來不太方便，並且限制太多，於是抽了點時間出來編寫了一個dubbo的客戶端可視化調試工具，功能雖簡單但可以快速的調試dub
2020-06-11 03:04:25
原创 HBase shell基本操作命令
1、基本命令 1.1 查詢狀態（status） hbase(main):009:0> status 1.2 查看版本(version) hbase(main):001:0> version 1.3 查看幫助信息(help)
2019-07-31 03:37:44
原创 Spring註解配置事務管理
1 Sping事務簡介 事務管理是應用系統開發中必不可少的一部分，Spring爲事務管理提供了豐富的功能支持。Spring事務管理分爲編程式事務管理和聲明式事務管理的兩種方式。 1.1 編程式事務 編程式事務指的是通過編碼方式實現事務，編
2019-06-12 14:06:05
原创 [Spark的LeftOuterJoin操作]
在編寫SQL語句時，大家都比較熟悉的LeftOuterJoinn來關聯兩個表之間的數據，從而查詢到我們想要的結果。在Spark的數據操作中，同樣也會經常使用LeftOuterJoin來關聯兩個數據集。那麼，在Spark數據操作中主
2018-08-24 10:02:40
9
原创 [Spark RDD轉換操作運算子]
Spark RDD轉換操作 RDD,即彈性分佈式數據集，全稱爲Resilient Distributed Dataset,是一個容錯的，並行的數據結構，可以讓用戶顯式地 將數據存儲到磁盤和內存中，並能控制數據的分區。同時，RDD還提供了一
2018-08-24 10:02:40
2
原创 [Spark應用依賴jar包的添加解決方案]
Spark應用依賴jar包添加無效的解決方案 在Spark應用中，我們發現，在${SPARK_HOME}\lib文件夾中添加jar包時並不起作用。那麼，要如何使得我們編寫的Sparky應用依賴的jar有效呢？有如下四種方案：
2018-08-24 10:02:39
4
原创 [Hadoop-HA高可用集羣部署]
1 集羣規劃 以5臺機器爲例，linux用的是CentOS 6.5 x64的機器對集羣部署進行規劃，所有機器的用戶名及密碼均爲hadoop。名稱 主機名 安裝軟件 JPS PC1 cdh.hadoo.com Jdk/hadoop
2018-08-24 10:02:39
原创 [Spark好友推薦]
好友推薦概念 目前大量的社交網站上，它們都有一個共同的特性，就是可以在好友關係的基礎上推薦更多的聯繫人。例如，QQ的“你可能認識的人”特性允許用戶查看它們可能聯繫的人。基本思想就是：如果tom是jack的好友，而tom又是pet
2018-08-24 10:02:39
原创 [Node.js使用Mongoose操作MongoDB]
在Node.js中使用mongoose模塊操mongodb是很簡單的事情，mongoose提供了一套豐富的api來操作mongodb。 1 定義MongoDB的Schema結構 //獲取mongodb組件 var mong
2018-08-24 10:02:39
7