原创 新建hadoop用戶以及用戶組

搭建hadoop集羣環境不僅master和slaves安裝的hadoop路徑要完全一樣，也要求用戶和組也要完全一致。因此第一步就是新建用戶以及用戶組。對於新手來言，新建用戶用戶組，並賦予適當的權限無疑是最大的問題。下面請跟隨我來新建用

2018-10-20 00:23:40 1

原创 Redis INCR和INCRBY對指定key的value進行數字相加

INCRBY key increment 將 key 所儲存的值加上增量 increment 。 如果 key 不存在，那麼 key 的值會先被初始化爲 0 ，然後再執行 INCRBY 命令。 如果值包含錯誤的類型，或字符串類型的值不

2018-10-14 23:58:19

原创 Spark在Windows下的環境搭建

由於Spark是用Scala來寫的，所以Spark對Scala肯定是原生態支持的，因此這裏以Scala爲主來介紹Spark環境的搭建，主要包括四個步驟，分別是：JDK的安裝，Scala的安裝，Spark的安裝，Hadoop的下載和配置

2018-10-13 00:03:10

原创 eclipse創建maven管理Spark的scala以及eclipse的Maven配置

說明，由於spark是用scala寫的。因此，不管是在看源碼還是在寫spark有關的代碼的時候，都最好是用scala。由於我個人以前是純粹的Pythoner，一直使用的都是PyCharm，然而最近換了新工作後，由於各種原因，要麼使用付

2018-10-13 00:03:10

原创 Spark Streaming的maven配置pom.xml

不多說，直接查詢相關的內容 https://mvnrepository.com/search?q=spark 我們可以看到很多常見的東西，spark-core,spark-sql,spark-streaming等等 點開這些鏈接進入

2018-10-13 00:03:10 1

原创 eclipse打包說明 Run as ---Maven build 命令詳解

Goals： clean 清除編譯，compile 編譯，test 編譯並測試，install 打包併發送到本地倉庫，package 只是打成jar包，並不會發送到本地倉庫 測試： run as maven build.. g

2018-10-13 00:03:10

原创 windows下安裝並啓動hadoop2.7.2

64位windows安裝hadoop沒必要倒騰Cygwin，直接解壓官網下載hadoop安裝包到本地->最小化配置4個基本文件->執行1條啓動命令->完事。一個前提是你的電腦上已經安裝了jdk，設置了java環境變量。下面把這幾步細化

2018-10-13 00:03:10 1

原创 Spark Streaming介紹以及簡單使用

一、Spark Streaming介紹 Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fau

2018-10-13 00:03:10 3

原创 Hbase的安裝以及配置

前置條件 jdk1.8 Hadoop 2.6 Zookeeper 3.4.5 一、安裝Zookeeper 單節點zookeeper可以參考 Kafka概述以及安裝配置中zookeeper的安裝配置 以下介紹多節點的配置 1)下載zoo

2018-10-13 00:03:10

原创 Maven的安裝以及配置，window以及linux

一、Maven的安裝以及配置 1）下載 https://maven.apache.org/download.cgi 2）解壓 window下載的apache-maven-3.5.4-bin.zip，直接解壓 linux下載的apach

2018-10-13 00:03:10

原创 Kafka概述以及安裝配置

一、Kafka概述 PUBLISH & SUBSCRIBE Read and write streams of data like a messaging system. 發佈和訂閱 讀取和寫入數據流，類似消息傳遞系統。 PROCES

2018-10-10 00:05:59 2

原创 hadoop搭建四個配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的簡單介紹

hadoop下載地址 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz 解壓後設置環境變量 一 、core-site.xml <configura

2018-10-10 00:05:59 2

原创 符合語言習慣的Python優雅編程技巧

Python最大的優點之一就是語法簡潔，好的代碼就像僞代碼一樣，乾淨、整潔、一目瞭然。要寫出 Pythonic（優雅的、地道的、整潔的）代碼，需要多看多學大牛們寫的代碼，github 上有很多非常優秀的源代碼值得閱讀，比如：reque

2018-09-25 23:56:06 2

原创 Flume實戰一，Flume配合telnet從指定網絡端口採集數據輸出到控制檯

1、使用Flume的關鍵就是寫配置文件 1）配置Source 2）配置Channel 3）配置Sinks 4）將以上三種組件串聯起來 在cd $FLUME_HOME/conf vim example.conf #example.con

2018-09-21 06:50:22

原创 分佈式日誌收集框架Flume

一、業務現狀分析 在現實業務中我們有很多服務和系統，包括： 1)network devices 網絡設備 2)operating system 操作系統 3)web servers 4)Applications 應用 這些系統產生大量

2018-09-21 06:50:22