原创 大數據時代的到來

      隨着社會的發展、時代的進步,互聯網發展已經到了一個鼎盛的時期。隨着“互聯網+”的提出,更加助長了互聯網發展的趨勢,而在互聯網發展中又出現了許多熱詞,如雲計算,大數據,人工智能等等,這之中大數據尤爲突出,所以今天我們來

原创 春風襲來之——揮去的2015

      俗話說一年之計在於春,一日之計在於晨。在這個春風襲來,活潑可愛的日子裏,我們送走了2015的辛酸、汗水、喜悅和成長,迎來一個嶄新的開始。在此,回顧一下去年的成功與失敗,總結一下經驗與教訓,整理一下心情,繼續前行。

原创 阿里架構之旅(三)——動物園管理者zookeeper

      今天我們來說一下zookeeper,它翻譯爲中文的意思是:動物園管理者,可是這跟我們的架構有什麼關係呢?接着看。之前我們談到了dubbo,在dubbo解析中,我們提到了一種註冊服務的機制,但是當時並不知道那是個什麼東

原创 Linux學習總結——實踐

      經過一段時間的學習,我們已經知道Linux是個什麼東西。可是我們在實際工作中,到底有多少是有用的呢。今天我們就來總結一下。 一、整體架構       首先我們來回顧一下Linux的架構組成。它由內核、shell、

原创 從零開始學Hadoop----淺析HDFS(三)

      之前,我們簡單介紹了一下Hadoop的核心之一HDFS,對其中的一些概念和他的原理做了一些解析。今天我們來看看HDFS的操作實例。 三、小試牛刀 1、shell命令 2、fs實例       在做之前,我們需要

原创 從零開始學Hadoop----初識

      我們知道大數據的時代已經到來,之前就給大家分享了應對大數據的非關係型數據庫redis。今天,我們再來看看處理和分析海量數據的神器——hadoop。 一、是什麼 1、概念       Hadoop是一個開源的框架,

原创 阿里架構之旅(四)——zookeeper的原理

      前面我們介紹了一下zookeeper的一些基本的知識,知道了他是一個樹形結構的文件系統,同時外加通知機制的這麼一個東西。那麼今天我們就來探究一下它的根源,一些內部的運行原理。 一、基礎知識 1、角色 2、工作模式

原创 大數據的倉庫Hive學習(一)

      我們接着之前學習的大數據來學習。之前說到了NoSql的HBase數據庫以及Hadoop中的HDFS存儲系統,可是我們發現這跟我們平時常用的關係型數據庫有很大區別,爲了使用方便,產生了針對大數據存儲的數據倉庫Hive。

原创 從零開始學Hadoop----淺析HDFS(二)

      上一篇,我們簡單介紹了一下Hadoop的核心之一HDFS,對其中的一些概念有了一定的瞭解。今天我們來看看HDFS的一些原理解析。 二、原理解析 1、架構       HDFS是一個主/從(Mater/Slave

原创 獨具一格的Linux

      最近在工作中接觸到了Linux,因爲之前沒學過,所以用起來很費勁,所以就補補課,學習了一下Linux。今天我就跟大家一起分享一下我對Linux的認識和理解。 一、是什麼 1、概念       Linux是一個自由

原创 大數據時代下的NoSql

      隨着大數據時代的到來,我們的問題也就來了。海量的數據如何去處理,如何存儲,如何才能發揮出大數據的價值呢?在數據量越來越大的今天,傳統的關係型數據存儲已經滿足不了我們的需求,於是就誕生了非關係型數據庫NoSql。今天我

原创 java封裝導出excel之——優化

      上次,我們說道瞭如何使用HSSFWorkbook(POI)實現導出excel的功能。而且我們也已經實現了。但是,我們發現,當我們導出幾萬設置幾十萬的數據時,就會很慢,而且還會造成內存溢出的問題。如果經常下載大量數據,

原创 用索引來實現冪等

      隨着大數據的到來,分佈式處理變得越來越火,而且分佈式中的一致性事務又是重中之重。當然我們今天的重點不在於介紹如何保證分佈式事務中的一致性,而是在保證事務一致性的過程中會出現一系列的補償機制,這就涉及到了冪等。接下來讓

原创 秒秒鐘看懂MyBatis

      最近做項目用到了MyBatis,之前沒接觸過,本以爲它有多麼高深呢,結果看完之後才發現So Easy,因爲之前用過Hibernate,所以感覺它很容易理解。趕緊讓我們看看它到底是個什麼東西吧。 一、快速普及 1、是

原创 從零開始學Hadoop----淺析HDFS(一)

      之前,我們簡單介紹了一下Hadoop,知道他是一個處理大數據的框架。今天我們來看看Hadoop的核心構成之一—-HDFS. 一、基礎概念 1、是什麼       HDFS是Hadoop Distribute Fi