原创 Maven標籤大全
Maven POM POM( Project Object Model，項目對象模型 ) 是 Maven 工程的基本工作單元，是一個XML文件，包含了項目的基本信息，用於描述項目如何構建，聲明項目依賴，等等。 執行任務或目標時，Maven
2020-03-31 20:46:15
原创 Maven-dependencyManagement的使用(父類pom應用)
1. DepencyManagement應用場景 當我們的項目模塊很多的時候，我們使用Maven管理項目非常方便，幫助我們管理構建、文檔、報告、依賴、scms、發佈、分發的方法。可以方便的編譯代碼、進行依賴管理、管理二進制庫等等。 由於
2020-03-31 20:46:15
原创 Shell中的特殊變量
shell中的特殊變量： 變量名 含義 $0 shell或shell腳本的名字 $* 以一對雙引號給出參數列表 $@ 將各個參數分別加雙引號返回 $# 參數的個數 $_ 代表上一個命令的最後一個參數 $$ 代表所在命令的P
2020-03-18 01:22:52
原创 Sort命令的k選項
有時候學習腳本，你會發現sort命令後面跟了一堆類似-k1,2，或者-k1.2 -k3.4的東東，有些匪夷所思。今天，我們就來搞定它—-k選項！ 1 準備素材 $ cat facebook.txt google 110 5000 ba
2020-03-18 01:22:52
原创 Linux小技巧：ls -l —— 查看文件信息，按時間、大小排序
按時間排序： [root@localhost ~]# ls -lt 總用量 968 drwxr-xr-x. 5 root root 47 9月 28 09:53 tar drwxr-xr-x. 9 yasuo yasuo
2020-03-18 01:22:52
原创 Hadoop YARN中 VCores used 與 VCores Avail 數量不相符， YARN WebUI中顯示的VCores數不對
1.問題復現 如圖，在yarn-site.xml中我設置的VCores是2個，每個節點提供2GB內存，在mapred-site.xml中設置的每個container是384M。提交了很多任務後，yarn調度器按照 （2GB * 1024）
2020-03-04 14:43:43
原创 容器調度——capacity-scheduler.xml yarn容量調度配置文件詳解
<!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in complianc
2020-03-04 14:43:43
原创 MQ詳解及四大MQ比較
一、消息中間件相關知識 1、概述 消息隊列已經逐漸成爲企業IT系統內部通信的核心手段。它具有低耦合、可靠投遞、廣播、流量控制、最終一致性等一系列功能，成爲異步RPC的主要手段之一。當今市面上有很多主流的消息中間件，如老牌的ActiveMQ
2020-02-26 02:52:36
原创 Hadoop名詞(英文、中文)
Vmem：Virtual memory 虛擬內存 Pmem：Physical memory 物理內存 點贊 收藏 分享 文章舉報 星河scorpion 發佈了253 篇原創
2020-02-20 18:13:24
原创 spring hadoop 訪問hbase入門
1、 環境準備： Maven Eclipse Java Spring 版本 3..2.9 2、 Maven pom.xml配置 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 <!-- Spring
2020-02-20 18:13:24
原创 Hadoop集羣參數和常用端口
一、Hadoop集羣參數配置 在hadoop集羣中，需要配置的文件主要包括四個，分別是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，這四個文件分別是對不同組件的配置參
2020-02-20 18:13:24
原创 MapReduce關於數據壓縮使用與支持的格式
1.壓縮概述 數據壓縮這是mapreduce的一種優化策略：通過壓縮編碼對mapper或者reducer的輸出進行壓縮，以減少磁盤IO，提高MR程序運行速度（但相應增加了cpu運算負擔） Mapreduce支持將map輸出的結果或者red
2020-02-20 18:13:24
原创 Hive中壓縮使用詳解與性能分析
HIVE底層是hdfs和mapreduce實現存儲和計算的。所以HIVE可以使用hadoop自帶的InputFormat和Outputformat實現從不同的數據源讀取文件和寫出不同格式的文件到文件系統中。同理，HIVE也可以使用had
2020-02-20 18:13:24
原创 vim快速搜索功能操作大全
介紹vi/vim 相關命令，主要涉及：編輯、搜索、查找、定位。 分爲兩個章節，即常用命令 及 鍵盤圖 一、vi/vim常用命令 set nu 顯示行號 gg 跳轉到文件開頭 / 向後搜索 ? 向前搜索 n
2020-02-20 18:13:24
原创 單元測試詳解（Mockito、MockBean）
一個測試方法主要包括三部分： 1）setup 2）執行操作 3）驗證結果 public class CalculatorTest { Calculator mCalculator; @Before // setup
2019-09-26 20:38:47
131