原创 BigData進階--hdfs中SecondaryNameNode的作用

       首先需要明確的是SecondaryNameNode不是NameNode的備份,只是解決NameNode的部分問題。 一、明確NameNode的作用 NameNode主要是用來保存HDFS的元數據信息,比如命名空間信息,塊信息

原创 BigData進階--hdfs常用命令

1.將/a目錄移動到/b下,並重命名爲c mv /a /b/c 其實在文本模式中要重命名文件或目錄,只需要使用mv命令就可以了,比如說要將一個名爲abc的文件重命名爲1234: mv abc 1234 2.刪除某文件 rm -f路徑

原创 Shiro學習之身份驗證

       小編在shiro 學習第一步中寫了對shiro的架構原理,組件的基本認識進行了總結和說明,這篇博客就帶着大家實現shiro學習中的身份認證的兩個例子:      那麼身份驗證是神馬東西?     1.subject的認證主體

原创 BigData進階--細說RDD,DataFrame,Dataset的區別

          在spark中有重要的組件SparkContext和SQLContext,在讀取數據文件時我們可以通過這兩個組件進行不同形式的讀取,比如: val conf = new SparkConf().setMaster("

原创 程序猿必備-分佈式與集羣

          在很多程序中我們越來越多的接觸分佈式和集羣,雖然兩者不同,但是大家有沒有仔細的想過兩者之間有怎樣的聯繫和區別呢??   衆所周知,分佈式是指 大量普通的PC服務器通過Internet互聯,對外作爲一個整體提供存儲服務;

原创 一起了解nginx-基本介紹+單點安裝+基本應用

      隨着技術的發展,攻城獅們設計的程序已經可以對容錯和訪問分擔負載進行免費的使用了,所以今天小編就帶着大家一起去了解nginx,以及nginx的單點安裝。 1.什麼是nginx       Nginx是一款高性能的http服務器/

原创 Spring的事務及五種配置方式

          SSH框架風靡整個IT行業,而作爲該框架中的管理員,Spring負責管理其他的框架,協調各個部分的工作。那麼今天小編就帶大家一起學習Spring的事務管理和不同的配置方式: *  Spring配置文件中關於事務配置的

原创 趣談Java變量的可見性問題

        瞭解過多線程的我們,對synchorized,sleep和valatile都比較瞭解,但是當這三個名詞和“Java變量得可見性”的話題聯繫在一起不知道大家是否還可以保持大腦清晰???        最近看到一個關於Java

原创 BigData進階--Spark中的函數與符號

       剛接觸spark不久,整理一些常用的方法與大家分享: 1.Character.isDigit()      判斷是否爲數字 2.Character.isLetter():    判斷是否爲字母 3.ToList.takeWh

原创 Quartz作業調度,不再讓我們煩惱

✪  前言          你曾經需要應用執行一個任務嗎?這個任務每天或每週星期二晚上11:30,或許僅僅每個月的最後一天執行。一個自動執行而無須干預的任務在執行過程中如果發生一個嚴重錯誤,應用能夠知到其執行失敗並嘗試重新執行嗎?你和你

原创 dubbo系列-Linux下zookeeper的安裝

         zookeeper作爲dubbo服務的註冊中心,zookeeper是一個分佈式的服務框架,是樹形的目錄服務的數據存儲,能做到集羣管理數據,能更好的作爲dubbo服務的註冊中心;當提供者出現斷電等異常情況停機時,zooke

原创 靜態代理和動態代理的再學習

         學過設計模式的編友們,一定對代理模式很熟悉,最近在學習中發現Spring中更好的使用了動態帶來來降低耦合,提高代碼複用性,那麼爲什麼要使用動態代理?動態代理和我們之前使用的普通代理有什麼區別和好處?  ♔ 預熱代理模式

原创 Java中的多線程

在Java中一個很重要的基礎就是線程,而每次提到線程大家必想到的是進程,所以在總結Java多線程之前我們先對進程和線程進行一下區分: 進程:一個計算機程序的運行實例,每個進程有獨立的代碼和數據空間(進程上下文),而一個進程中可以有多個線程

原创 Redis數據編碼方式詳解

原文鏈接:https://yq.aliyun.com/articles/63461 引言 Redis是一個key-value存儲系統。和Memcached類似,它支持存儲的value類型相對更多

原创 再來談談Redis爲什麼這麼快

        本篇博客中使用的redis源碼爲4.0.9,點擊此處下載;         在2017年小編寫過一篇博客來分析 咱們一起來談談,redis爲什麼快?,但現在看看,簡單的兩句內存處理和單線程並不能總結出Redis快的真諦,也