原创 GitHub協同工作

GitHub協同工作 GitHub上有兩種協同工作模式。暫時使用fork倉庫同步/pull。 另外一種見文章《github協同工作》 先將對方的代碼fork到自己的GitHub上 直接在對方GitHub倉庫裏fork就好。 從自

原创 Andrew Ng機器學習課程筆記(一)

一.機器學習的定義: 非正式定義:由Arthur Samuel提出 Machine Learning:Field of study that gives computers the ability to learn witho

原创 Word2Vector相關資料

因爲暫時沒有時間細看,只能先把找到的博客先存一下: http://xiaoquanzi.net/?p=156 http://liweithu.com/word2vec https://code.google.com/arch

原创 JVM崩潰原因之一:自己的代碼有問題

把之前在Linux下的Java項目移到Windows上,結果出現瞭如下錯誤代碼,試了網上的各種方法還是沒有解決,最後發現自己的代碼有一個小問題,就是txt文檔從Linux上移到Windows下可能會產生空行,而代碼裏忽略這種情況,

原创 CentOS7上安裝Hadoop2.0——單機模式/僞分佈式模式 暨任務二

注意:本文步驟參考給力星的http://www.powerxing.com/install-hadoop-in-centos/的內容,實驗結果均是本人真實實驗的圖片,僅用於記錄和學習之用。 一. 創建hadoop用戶 1. 登錄r

原创 Sublime Text2/Text3如何打開GBK文檔時不出現亂碼

步驟: 1.安裝Package Control插件 下載地址:https://packagecontrol.io/installation sublime裏喧雜View > Show Console,打開console如下圖:

原创 超大XML文件怎麼打開

xml文件太大(我的文件有1.5G)會導致普通的編輯器無法打開,原本在Windows系統上安裝了sublime text,以爲可以打開的,畢竟曾經確實用它打開過,而且mac上也是可以打開的。但這次安裝的這個不知道什麼原因老是出現“

原创 CentOS安裝配置JDK1.7暨任務一

1.解壓jdk,在centOS的home中新建hadoop文件,將JDK解壓後放入此文件夾中 2.進入root用戶 su root 3.卸載自帶的openJDK rpm -qa | grep java rpm -e --node

原创 centOS 登錄遠程服務器

一. 獲得對方的授權: 服務器IP地址:xxx.xxx.xxx.xxx 端口號:xx 用戶名:mjc 密碼:********** 二. centOS7安裝完後默認自動開啓ssh服務 但我們可以使用如下步驟檢查ssh是否開啓

原创 scala編寫的Spark程序遠程提交到服務器集羣上運行

一.需要的軟件: eclipse 相應版本的scalaIDE 與集羣一樣的spark安裝包,主要是要用到spark中的jar包 與集羣一樣的hadoop安裝包 與hadoop版本對應的winutil.exe,hadoop.dll

原创 Eclipse搭建Scala+Spark開發環境

搭建教程:http://www.linuxidc.com/Linux/2015-08/120946.htm eclipse中運行第一個scala編寫的spark程序:http://blog.csdn.net/xummgg/art

原创 完全分佈式安裝hbase,使用hbase自帶的zookeeper

1.我使用的是穩定版本的hbase:hbase-1.2.4-bin.tar.gz 下載地址:http://www-eu.apache.org/dist/ 裏面有個stable版本的 2.配置環境變量,集羣上的每個節點都要配置

原创 Hadoop2.0集羣安裝配置

本集羣使用centOS 7作爲系統集羣,基於原生Hadoop2,使用版本爲Hadoop2.6.0。 一. 搭建前提: 在 搭建集羣之前,要保證 每臺虛擬機都配置好了Hadoop用戶 安裝SSHServer(centOS 7系統

原创 centOS安裝Scala和Spark

一.安裝Scala Scala程序運行在java虛擬機(JVM)上,所以安裝Scala之前需要先在linux系統中安裝Java。由於之前已經安裝了,沒安裝的可以到我的文章http://blog.csdn.net/xqclll/ar

原创 Neo4j圖數據庫初識

graphdatabase 圖數據庫的筆記之 Neo4j圖數據庫初識 目錄 什麼是圖數據庫 爲什麼使用圖數據庫 Neo4j的下載安裝 Cypher查詢語言 Neo4j的各類API 事務 Neo4j數據建模 大規模數據導入neo4j