原创 動手寫的第一個MapReduce程序--wordcount

引語:     之前運行過了hadoop官方自帶的第一個例子wordcount,這次我們自己手寫一個,這個相當於是編程語言中的helloworld一樣.首先我們瞭解一下我們要寫的MapReduce是處理的哪個部分,我們知道hadoop處理文

2019-09-15 22:05:10

原创 hadoop啓動hdfs異常

記錄一下安裝hadoop遇到的問題，以便後面再次遇到有個解決方式的記錄，也方便其他人解決相同的問題。在安裝好hadoop後，start-dfs.sh的時候報了util.NativeCodeLoader: Unable to load nat

2019-08-25 20:35:05 1

原创 ThreadLocal的使用和坑點

概念： ThreadLocal的概念：摘自ThreaLocal的註釋 This class provides thread-local variables. These variables differ from * their nor

2019-08-25 20:35:05

原创 hadoop運行第一個實例wordcount

引語： 這幾周事情比較多，兩週沒寫博客了，這周總算把hadoop的實例給運行起來，然後跑了一下官方的wordcount例子（用於統計文件中單詞出現的次數）。接下來是我成功運行實例的記錄。運行的前提是安裝配置好hadoop（可以參考我上一篇博

2019-08-18 22:35:03

原创 hadoop僞分佈式安裝記錄

引語:     最近想接觸一些大數據相關的技術,所以有了這篇文章,其實就是記錄一下自己學習hadoop的過程,如果文章中有啥寫的不對的地方,還望指正(有java開發經驗,但是是大數據小白一隻,各位大神輕噴.)我先是在網上搜索了一波大數據應該

2019-07-28 23:25:11 1

原创 註解處理器是幹嘛的

註解處理器初探     平時做項目中有個非常好用的一個插件,叫lombok.它提供了一些簡單的註解,可以用來生成javabean和一些getter/setter方法,提高了開發的效率節省了開發時間.今天我們就來看看lombok使用的什麼方式

2019-07-14 19:05:05 1

原创 怎麼重複使用inputStream?

引語：     之前做項目的時候遇到一個問題,就是從網絡中讀取的圖片要上傳到oss,而且要對圖片進行裁剪和壓縮,其中上傳和裁剪都要使用到圖片的inputStream,又因爲inputstream不能重複讀,導致裁剪是成功的,而上傳是失敗的.

2019-06-30 22:25:00

原创 Arrays.asList存在的坑

引語: 阿里巴巴java開發規範說到使用工具類Arrays.asList()方法把數組轉換成集合時,不能使用其修改集合相關的方法,它的add/remove/clear方法會拋出UnsupportedOperationException(),

2019-06-24 23:05:06

原创 聽過了API咱們來看看SPI是什麼

引語 平時API倒是聽得很多?SPI又是啥.別急我們來先看看面向接口編程的調用關係，來了解一下，API和SPI的相似和不同之處。 SPI理解 先來一段官話的介紹:SPI 全稱爲 (Service Provider Interface) ，是

2019-06-16 20:15:10 1

原创 普通對象使用spring容器中的對象

引語：     工作中有時候需要在普通的對象中去調用spring管理的對象，但是在普通的java對象直接使用@Autowired或者@Resource的時候會發現被注入的對象是null，會報空指針。我們可以簡單的理解爲spring是一個公司

2019-06-02 21:45:03 2

原创 IDEA解決maven包衝突的一些小技巧

    在平常工作中我們經常會遇到maven引用的jar包衝突的事情，這時候我們就需要找出衝突的包，並將低版本或者缺少某些方法的jar給剔除掉。這個時候使用idea自帶的maven依賴樹就很好解決這樣的問題。 步驟： 1.在IDEA中右鍵項

2019-06-02 16:05:06 1

原创 Java四種引用簡介

引語：     我們知道java相比C，C++中沒有令人頭痛的指針，但是卻有和指針作用相似的引用對象（Reference），就是常說的引用，比如，Object obj = new Object()；這個obj就是引用，它指向的是真正的對象O

2019-05-26 18:45:09

原创 布隆過濾器簡介

    最近做爬蟲項目過濾重複的url的時候,瞭解到一個東西,叫布隆過濾器,然後也學習了一下,寫下這篇博客記錄一下.下面我們將分爲幾個專題來介紹布隆過濾器:1.什麼是布隆過濾器;2.布隆過濾器的使用場景和缺陷;3.布隆過濾器java實現;4

2019-05-19 16:45:09

原创 springboot整合quarzt實現動態定時任務

實現定時任務的幾種方式: 1.使用linux的crontab 優點: 1.使用方式很簡單,只要在crontab中寫好 2.隨時可以修改,不需要重啓服務器 缺點: 1.分佈式的系統中不好使用,只能一臺臺

2019-05-12 16:35:01 1

原创 shell中的單引號和雙引號理解

問題描述:     最近在寫shell腳本的時候，涉及到一個使用shell腳本發送json數據的問題，就是發送的json數據雙引號不見了，導致數據格式不正確,收到了錯誤的響應。後來仔細查看了資料才發現自己之前對shell單引號和雙引號的理解

2019-03-31 16:55:05