原创 CRT全局設置默認的背景色以及UTF-8的編碼格式

1.修改默認背景色 打開CRT的Options選項-->Global Options-->Default Session-->Edit Default Settings...-->Emulation-->Terminal--選擇linux

原创 Centos6.x下搭建ftp服務器和ftp客戶端實現文件的上傳和下載

1.首先要查看你的服務器上是否安裝有vsftpd軟件 命令是這玩意:rpm -qa | grep vsftpd 我的服務器上顯示了一堆這玩意,一瞅就是沒安裝過。 2.接下來直接用yum安裝,命令是這玩意:yum -y install v

原创 DStream操作實戰:4.SparkStreaming開窗函數統計一定時間內的熱門詞彙

package cn.testdemo.dstream.socketimport org.apache.spark.{SparkConf, Spark

原创 關於hadoop2.x的各種集羣的常用端口詳解

組件節點默認端口配置用途說明HDFSDataNode50010dfs.datanode.addressdatanode服務端口,用於數據傳輸HDFSDataNode50075dfs.datanode.http.addresshttp服務的

原创 CentOS6.5下安裝mysql

1.安裝介質 Mysql    http://dev.mysql.com/downloads/mysql/     本次使用mysql-5.6.29-linux-glibc2.5-x86_64.tar.gz 2.安裝過程 2.1主機配置

原创 Spark入門實戰系列--7.Spark Streaming(上)--實時流計算Spark Streaming原理介紹

1、Spark Streaming簡介1.1 概述Spark Streaming 是Spark核心API的一個擴展,可以實現高吞吐量的、具備容錯機制的實時流數據的處理。支持從多種數據源獲取數據,包括Kafk、Flume、Twitter、Z

原创 Spark Streaming整合flume實戰

flume作爲日誌實時採集的框架,可以與SparkStreaming實時處理框進行對接,flume實時產生數據,sparkStreaming做實時處理。Spark Streaming對接FlumeNG有兩種方式,一種是FlumeNG將消息

原创 Linux Mysql 的安裝及遠程權限開放

01 安裝服務端和客戶端(注:這裏直接yum安裝,也可以上傳下載好的tar.gz包安裝)yum install mysql-server -y yum install mysql -y 02 啓動服務端service mysqld sta

原创 Hadoop2.7.4集羣安裝

Hadoop2.7.4集羣安裝說明Hadoop運行在Java虛擬機上,需要安裝JDK,參見Linux下安裝JDK8本次搭建的Hadoop集羣沒有HA配置。集羣節點分佈信息hdfs namenode node1hdfs secondary

原创 Linux超詳細的常用命令大全!

系統信息 arch 顯示機器的處理器架構(1) uname -m 顯示機器的處理器架構(2) uname -r 顯示正在使用的內核版本 dmidecode -q 顯示硬件系統部件 - (SMBIOS / DMI) hdparm -i /d

原创 UE使用技巧之---去空格

使用UE去除文檔或腳本中的多餘空格:按ctrl+r會出現查找和替換的框 1.刪除空格:    [ ^t]+$ 2.刪除空行:    %[ ^t]++^p 3.刪除行尾空格:    [ ^t]+$ 4.刪除行首空格:    %[ ^t

原创 Spark Streaming整合kafka實戰

kafka作爲一個實時的分佈式消息隊列,實時的生產和消費消息,這裏我們可以利用SparkStreaming實時計算框架實時地讀取kafka中的數據然後進行計算。在spark1.3版本後,kafkaUtils裏面提供了兩個創建dstream

原创 Linux安裝zookeeper 3.4.9

下載zookeeper上傳到node1,node2,node3(這裏以三臺虛擬機爲例)依次解壓tar -zxvf zookeeper-3.4.9.tar.gz -C /export/servers/ cd /export/servers/

原创 新建maven項目解決pom.xml頭部 http://maven.apache.org/xsd/maven-4.0.0.xsd報錯的問題

今天,用springboot新建個項目報了個這個問題,看了一下控制檯的錯誤輸出日誌,有兩個jar包報錯. 解決方案: 1.找到maven倉庫的配置地址 2.找到倉庫裏對應的顯示報錯的jar包,將其最內層的文件夾刪除 3.然後回到ecli

原创 DStream操作實戰:3.SparkStreaming開窗函數reduceByKeyAndWindow,實現單詞計數

 package cn.testdemo.dstream.socket  import org.apache.spark.{SparkConf, Sp