原创 Java GC、新生代、老年代
Java 中的堆是 JVM 所管理的最大的一塊內存空間，主要用於存放各種類的實例對象。 在 Java 中，堆被劃分成兩個不同的區域：新生代 ( Young )、老年代 ( Old )。 新生代 ( Young ) 又被
2020-02-22 21:43:30
原创 遍歷Map的四種方法
public static void main(String[] args) { // 構建一個Map 初始值爲3條數據 Map<String, String> map = new HashMap<String, Strin
2019-06-12 12:03:47
原创 Hive如何根據表中某個字段動態分區
使用hive儲存數據時，需要對做分區，如果從kafka接收數據，將每天的數據保存一個分區（按天分區），保存分區時需要根據某個字段做動態分區，而不是傻傻的將數據寫到某一個臨時目錄最後倒入到某一個分區，這是靜態分區。 動態分區的核心就是修改兩
2019-06-11 06:38:51
1
原创 轉：TortoiseSVN更換或重置登錄用戶
TortoiseSVN 安裝好初次使用後，以後登錄都是默認了初次登錄時的用戶帳號。去了新公司，電腦上還有svn，不料提交代碼時沒注意，使用了之前的人的賬號和密碼， 修改登錄用戶的方法： 1，打開SVN的settings 2，找到Sa
2018-10-10 05:09:37
2
原创 Scala - Bean的 getter 與 setter方法
我們在用Java的時候經常把一些字段定義爲private類型來完成封裝，這樣外界就無法訪問。 如果外界訪問或者修改該字段的時候，只能通過該字段提供的getter和setter方法來實現。 在Scala中是沒有getter和setter一說
2018-09-30 05:18:49
原创 CDH環境搭建（一）
一、架構 一共三臺虛擬機：cdh1~cdh3。 其中Server部署在cdh1上，MySQL同樣部署在cdh1上（因此cdh1的內存要大一些，其它兩臺主機的內存可稍小一點，筆者的內存
2018-09-04 23:34:22
3
原创 YARN架構設計詳解
轉載大神文章：YARN架構設計詳解一、YARN基本服務組件 YARN是Hadoop 2.0中的資源管理系統，它的基本設計思想是將MRv1中的JobTracker拆分成了兩個獨立的服務：一個全局的資源管理器Resource
2018-09-04 23:34:22
原创 Oracle中merge into的使用
我們操作數據庫的時候，有時候會遇到insertOrUpdate這種需求。 如果數據庫中存在數據就update，如果不存在就insert。 以前的時候，需要額外select查詢一下，如果有數據就update，如果沒有數據就insert。 而
2018-09-04 23:34:22
3
原创 引入JS/CSS時，報net::ERR_ABORTED錯誤的解決方法
錯誤如圖：引起這種錯誤的原因有一些，我的錯誤則是因爲在靜態文件夾下的原因。如果要放在靜態（static）文件夾下，需要在spring配置文件中添加上註解（<mvc:default-servlet-handler/>）和（<context:
2018-09-04 23:34:21
原创 CentOS安裝指定版本的Mysql
筆者使用的系統是CentOS 6.5 , 使用yum安裝mysql的默認版本是5.1，如果想安裝指定版本的mysql，可以通過本帖的方式進行。本文以安裝MySQL 5.6爲例進行說明。 1、從mysql的官網下載 rpm文檔 （下載地址：
2018-09-04 23:34:19
原创 CDH環境搭建（二）
四、部署CDH 1、登錄之後，進入如下頁面，點擊繼續 2、繼續 3、在“當前管理的主機”tab頁中，可以看到我們前面定義的三臺主機，勾選全部主機，點擊繼續 4、選中CDH版本（注意：“選擇CDH的版本”可能會顯示多個可選項，也可能只
2018-09-04 23:34:19
原创 本機不安裝Oracle，使用PL/SQL連接遠程Oracle數據庫
1、先到Oracle網站下載Instant Client :http://www.oracle.com/technetwork/database/features/instant-client/index-097480.html本人親測，
2018-09-04 23:34:18
原创 MySQL無法登錄問題-"ERROR 1045 (28000): Access denied for user 'root'@'localhost'"-之解決方法-密碼重置
筆者在CentOS7上安裝MySQL 5.7版本，安裝完成後，登錄的時候，提示登錄被拒絕：[root@cdh1 ~]# mysql -uroot -p Enter password: ERROR 1045 (28000): Access
2018-09-04 23:34:16
原创 Scrapyd的安裝與部署
本文的目的在於介紹 scrapyd 的安裝與使用， 爲節省篇幅，scrapy 的安裝與 scrapy爬蟲的開發在本文不予介紹，默認已經開發完成，當然，本機的Python環境變量也是配置好的。筆者所用的環境如下：系統：Windows 10
2018-09-04 23:34:16