原创 使用Docker部署Spark集羣

使用Docker部署Spark集羣 克隆包含啓動腳本的git倉庫 啓動Spark0.8.0集羣並切換至Spark Shell環境 不帶參數運行部署腳本 *運行一些小的例子 終止集羣 克隆包含啓動腳本的git倉庫* git clone

原创 RSA 算法介紹

RSA 算法介紹 RSA 算法的安全性是建立在乘法不可逆或者大數因子很難分解的基礎上。RSA 的推導和實現涉及到了歐拉函數和費馬定理及模反元素的概念,有興趣的讀者可以自行百度。 RSA 算法是統治世界的最重要算法之一,而且從

原创 eclipse離線安裝Android ADT 插件

       使用eclipse開發Android程序時,需要安裝Android開發插件,一般都採用在線url安裝的方式。這種方式由於衆所周知的GFW的原因,有時很難保證下載的來插件。本文在官網上查到一種離線安裝的方式。 Notes:AD

原创 eclipse更新插件plugin之後如何clean使之生效

平時使用eclipse之後,難免需要進行相應的插件安裝。一般採用的方式就是直接將需要的插件jar包複製到eclipse/plugins路徑下。之後重啓eclipse使之生效即可。 但是,在更新或者第二次安裝修改的同名jar包之後,執行上述

原创 搭建Scala開發環境IDEA

軟件準備: (1)scala-2.11.7.msi (2)IntelliJIDEA(百度進入IDEA官網即可下載) 搭建步驟: 一、安裝和配置Scala (1)安裝Scala:直接雙擊選擇路徑後安裝,完整安裝後退出。 (2)配置Scala

原创 No resource found that matches the given name 'Theme.AppCompat.Light 的完美解決方案

首先這個問題的產生是由於缺少Theme.AppCompat.Light這個主題產生的,而這個主題 的是存在於android\support\appcompat-v7支持庫中的,注意不是jar包。No resource found that

原创 用Eclipse搭建Android開發環境和創建第一個Android項目(Windows平臺)

一、搭建Android開發環境 準備工作:下載Eclipse、JDK、Android SDK、ADT插件 下載地址:Eclipse:http://www.eclipse.org/downloads/               J

原创 (待翻譯)github入門之遇到SSH Permission Denied問題的原因和解決

         安裝好Github之後,要在一臺電腦上使用github從服務器上clone一個項目,則必須確保該機器的SSH指紋加入了你的Github賬號設置中。如果沒有設置的話,則會顯示:嚴重錯誤,權限拒絕等提示。          

原创 Hadoop配置機架感知(python腳本)

有些hadoop集羣在運行的時候,不完全是絕對平均的分配,不過需要儘可能平均的分配任務,避免某一臺或者某幾臺服務器任務過重,其他服務器無事可做。這個,一方面是需要用到balancer,一個就是機架感知了。 通常,balancer是

原创 啓動Hadoop集羣失敗,LiveNode 0

安裝好Hadoop集羣的NameNode和DataNode,並配置好路徑。在終端中輸入命令:start-all.sh。,發現出現下面界面: 看起來集羣似乎已經啓動起來了,然而,打開master:50070發現,Live Node爲0。多

原创 CentOS 設置靜態IP 方法

1.修改網卡配置 編輯:vi /etc/sysconfig/network-scripts/ifcfg-eth0    DEVICE=eth0 #描述網卡對應的設備別名,例如ifcfg-eth0的文件中它爲eth0  BOOTPRO

原创 myeclipse怎麼樣統一全部文件編碼

        程序員利用myeclipse進行開發時,如果不修改默認的編碼方式,myeclipse會根據操作系統的平臺默認選擇開發方式,造成對新建網頁中的編碼格式不支持。有時候會提示另存爲其他編碼,但是還是很浪費時間的。因此,可以通過修

原创 添加Structs和Spring支持-----SSH框架搭建2

1.新建項目 打開myeclipse,new一個web project。 2、右鍵項目,爲項目添加Struts支持。   點擊Finish。src目錄下多了struts.xml配置文件。   3.爲項目添加Spring支

原创 centos安裝hadoop-1.2.1

系統環境:CentOS 5.10(虛擬機下) [plain] view plaincopyprint? [root@localhost hadoop]# lsb_release -a   LSB Version:  

原创 利用eclipse管理Hadoop集羣文件系統

         成功安裝Hadoop源代碼,並對其進行路徑配置和環境配置後,面臨如何圖形化直觀管理Hadoop集羣的文件系統,以及如何使用Hadoop集羣進行程序開發的問題了。本文着重解決上述兩個問題,即使用eclipse插件來配置集羣