原创 hadoop入門之mapreduce終結篇-Mapreduce案例(六)

標籤(空格分隔): hadoop 簡介 本節主要是針對hdfs在業務中的日常應用而講解的一些案例,用於訓練我們在使用hdfs的方式。(ps:mr程序的本質是根據規則做數據拆分,之後根據key做好reduce的分組操作) 1 案例

原创 hadoop入門之hdfs操作(二)

標籤(空格分隔): hadoop 概述 上一節我們已經搭建了集羣,那麼這節我們從google的三架馬車中的GFS,文件存儲系統hdfs操作開始學習。 1.環境搭建 window環境搭建 1.1.HADOOP_HOME配置流程 首

原创 springmvc攔截器針對ajax()請求的帶特殊請求頭的處理

ajax發送原理,ajax先發送一個OPTIONS(預請求,如果往回寫相關消息告知與請求成功,預請求獲取不到參數)預請求發送成功後,則纔會將之後的真正請求發送過來.        而瀏覽器出於安全考慮,限制了JS發起跨站請求,使用XHR對

原创 複雜度分析(一)

標籤(空格分隔): 數據結構與算法學習 引言:前面的兩章理論引導,可以對我們的現有思想做下碰撞。接下來就要進入入門篇的內容了,複雜度分析數據結構與算法的半壁江山。 爲啥要進行復雜度分析?   這裏得先提一下,算法和數據結構本身解

原创 spring cloud config源碼 client(一)

spring cloud config源碼 client(一) 整體架構模塊 client整體包大體類結構介紹 client入口我們先看spring.factories # Auto Configure org.spring

原创 linux與設備磁盤分區的方式與標識(三)

標籤(空格分隔): linux linux所有的東西都是以文件的形式去存儲的。接下來我們來認識下linux中設備鎖對應的文件名稱 各設備在linux中的命名 設備 linux中的文件名稱 SATA接口的硬盤 /de

原创 spring揭祕之IOC spring(一)

Spring Ioc 之Service Provider 本章目的 介紹IOC基本概念及職能,還有就是相關demo的編寫。 幹什麼的 IOC的是控制反轉,那麼我們只要去聲明我們需要的自有人爲我們解決這個依賴的問題。我們就可以將精力

原创 磁盤滿了排查遇到的坑

坑 之前因爲要搭建hdfs,所以在某幾個服務器直接刪除了一些程序文件啥的爲了清空間。 但是也就是這一步驟出現大問題了。 後續老是出現磁盤空間不足 通過 df -h查看 / 磁盤佔用100% 通過 cd / du -sh 查看與df

原创 scala基礎之五 隱式轉換和隱式函數

標籤(空格分隔): hadoop scala 帶着問題去學習 什麼是隱式轉換,隱式參數? 有什麼用? 隱式轉換也是一種增強,豐富現有類庫功能的一種方式 怎麼使用? 隱式轉換的觸發條件,和非觸發條件? 隱式轉換 如果是使用過動態代

原创 scala之高階函數 柯里化(四)

標籤(空格分隔): hadoop scala 簡介(來源快學scala) scala是一個集對象和函數於一體是一門編程語言,但是實際上也有主次的,在scala中函數纔是頭等公民(貴族)。所以這一節我們主要是來學習函數和一些高階的

原创 scala基礎之三 scala併發入門(akka之actor)

標籤(空格分隔): hadoop scala 前言 前兩節我們學習了scala的基礎語法,包括基本類型,流程控制,模式匹配,和對應的類,對象,特徵的定義,那麼在java中我們知道,爲了提高效率不可避免的會用到異步,線程提高我們的

原创 scala基礎之二 scala相關語法類,對象,特徵和修飾符(二)

標籤(空格分隔): hadoop 簡介 在scala的一中我們已學了了部分的scala特有語法,這裏再坐下完善。scala的類啊之類的一些概念做下介紹,同時用scala寫一些小demo。 scala基礎語法 scala與java

原创 scala與java混合maven項目構建

我們可正常創建maven項目,但是需要依賴引入scala的一類同時添加plugin用於編譯。 <!--scala file compile--> <plugin> <groupId>net

原创 Command line is too long. In order to reduce its length classpath file can be used.idea命令行過長

標籤(空格分隔): idea小記 關於在idea運行項目命令行過長問題 Command line is too long. In order to reduce its length classpath file can be u

原创 scala入門,概念,安裝,基礎結構及操作(一)

標籤(空格分隔): hadoop 簡介(我們總該知道這是幹什麼的有什麼特點) scala官方簡介是將函數式和麪向對象編程結合起來的一種高階語言。提供了巨大的生態lib庫方便訪問,可在jvm上運行高性能的應用。併兼容現有的Java