原创 go語言之腳本命令的使用

比如說我想在go項目啓動的時候,也把java項目啓動,那麼我就可以把啓動java項目的腳本命令放入到go項目中 go語言也爲我們提供了執行腳本命令的包 “os/exec” 1.引入 "os/exec"包 2.在go項目main函數中執行

原创 ElasticSearch 2.4.0系列之二 java 創建client客戶端

Elasticsearch爲Java用戶提供了兩種內置客戶端: 節點客戶端(node client)     節點客戶端以無數據節點(none da

原创 Spark性能優化:shuffle調優

目錄(?)[+] shuffle調優 調優概述       大多數Spark作業的性能主要就是消耗在了shuffle環節,因爲該環節包含了大量的磁盤IO、序列化、網絡數據傳輸等操作。因此,如果要讓作業的性能更上一層樓,

原创 spark-submit運行jar包腳本命令

找到spark-submit文件的目錄 目錄/spark-submit --master spark://192.168.172.10:7077 --executor-memory 2g --total-executor-cores 10

原创 myEclipse導出可運行的jar包

原文地址:http://blog.csdn.net/hqs_1992/article/details/50899878 一、Runnable Jar file方式 該方式可以簡單的導入第三方Jar包 1,右擊項目,單擊export=》J

原创 錯誤:Unsupported major.minor version 51.0 解決方案

錯誤原因:本地的jdk版本與導出的項目jdk版本不一致,或本地的jdk版本低 解決方法:修改本地jdk版本號 1.點擊項目右鍵 2.移除原來的jdk 3.添加新的jdk 4.選擇已經安裝的jdk 至此問題解決 點贊

原创 linux學習筆記之linux系統啓動過程

1.Linux 系統啓動過程一共分爲5個階段,分別是: 1)內核的引導。 2)運行 init。 3)系統初始化。 4)建立終端 。      1)學習資料上     2)本機上(默認啓動級別是5,下面會談到啓動級別)     5

原创 Eclipse Mars2在線安裝svn詳細步驟

剛下載下來的eclipse mars2默認是沒有svn倉庫的,所以這就需要我們自己去安裝,具體的操作步驟如下: 1.在help下選中eclipse商店 2.搜索svn插件並安裝 3.安裝完畢之後,將其視圖顯示 4.注意此步驟很關鍵

原创 Spark性能優化:開發調優篇

轉載地址:http://blog.csdn.net/u012102306/article/details/51322209 1、前言       在大數據計算領域,Spark已經成爲了越來越流行、越來越受歡迎的計算平臺之一。Spar

原创 Spark性能優化:資源調優篇

轉載地址:http://blog.csdn.net/u012102306/article/details/51637366 在開發完Spark作業之後,就該爲作業配置合適的資源了。Spark的資源參數,基本都可以在spark-submit

原创 ElasticSearch 2.4.0系列之一 es簡介

在使用一個工具或者插件前,首先要從以下這三方面瞭解它 1.是什麼 2.爲什麼 3.怎麼用 1.ElasticSearch是什麼? 引用百度百科上的介

原创 Spark Streaming 中使用 zookeeper 保存 offset 並重用 Java版

原文地址:http://blog.csdn.net/jsjsjs1789/article/details/52823218 最近中使用Spark Streaming +kafka,由於涉及到金額,所以需要保證at only one, 而

原创 kafka生產者與消費者java代碼示例

kafka生產者 package kafkatest; import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.p

原创 Elasticsearch的存儲模型和讀寫操作

聲明:本文章轉載地址:http://www.infoq.com/cn/articles/analysis-of-elasticsearch-cluster-part01 Elasticsearch是當今最流行的分佈式搜索引擎,GitHub

原创 Linux下的常用命令

vim 文件名    進入到文件編輯模式 cat 文件名    打印(顯示)文件內容 more 文件名   顯示文件內容(一頁一頁顯示) touch