原创 Hadoop之YARN相關知識點彙總

一、yarn的基本概念 最近一段時間,經常看到有人在微博上說,“很多公司暫時用不到YARN,因爲一般公司的集羣規模並未像Yahoo、Facebook那樣達到幾千臺,甚至將來幾萬臺”。這完全是一種錯誤的觀念,在Hadoop高速發展的時代,必

原创 如何將照片中的文字轉變成可編輯的文章(如何將書上的文字轉變爲可編輯的文字)

在工作中,我常常在想,要是能把紙上有用的文字快速輸入到電腦中,不用打字錄入便可以大大提高工作效率該有多好呀!隨着科技的發展, 這個問題在不斷的解決,例如,現在市場上的掃描儀就帶有OCR軟件,可以把掃描的文字轉換到電腦中進行編輯。但是,對

原创 很有意思的一篇文章——寫小論文論(轉自吳志峯教授的blog_寫不出論文的幾種人)

摘要:我覺得這句話說的很好:“寫作和發表既是過程也是結果,在這一過程中你的能力總會得到提高,那怕寫出來了沒有發表,也系統地整理了自己的工作和思路,積累了經驗,爲今後打下了基礎,發表了呢,即使是篇小東西,你也會有成就感,激發繼續寫作的衝動,

原创 (特重要,請注意)畢業N年後,請不要被檔案煩死

一、提醒大學生:深刻重視檔案,避免以後麻煩! 大學畢業最痛苦的是搞不定檔案和戶口。戶口,一般不會丟,大家都很當回事,畢竟身份證一丟,馬上就要處理戶口。但就是這個檔案,卻是很多人不當回事。但是隻要你是活在中國的畢業大學生,你肯定就會碰到檔案

原创 實踐部署與使用apache kafka框架技術博文資料彙總

前一篇Kafka框架設計來自英文原文(Kafka Architecture Design)的翻譯及整理文章,很有借鑑性,本文是從一個企業使用Kafka框架的角度來記錄及整理的Kafka框架的技術資料,也很有借鑑價值,爲了便於閱讀與分享,我

原创 大數據時代——分佈式內存文件系統:Tachyon

Tachyon是一個分佈式內存文件系統,可以在集羣裏以訪問內存的速度來訪問存在tachyon裏的文件。把Tachyon是架構在最底層的分佈式文件存儲和上層的各種計算框架之間的一種中間件。主要職責是將那些不需要落地到DFS裏的文件,落地到分

原创 怎樣查SCI期刊的影響因子與排名

如何查詢一個英文期刊是否被ISI的SCI收錄?它的影響因子是多少?如何查詢它的學科分類和排名,這裏用圖示方法分步介紹一下如何進行查詢。值得注意的是,不同學科分類之間的影響因子不太具有可比性,但是在同類期刊中可以根據impact facto

原创 Spark學習資料彙總

Pivotal Hadoop Integrates the Full Apache Spark Stack May 23, 2014 | by Sarabjeet Chugh, Head of Hadoop Product Man

原创 研究生學位論文寫作與答辯存在的幾個問題

研究生學位論文寫作與答辯存在的幾個問題 (廣州大學 地理學院 吳志峯 ecotop) 近期,審閱了多篇校內、校外的研究生學位論文,也聽了幾個學生的預答辯,感覺問題很多,昨晚自己團隊內部兩位即將畢業的碩士生也到我辦公室進行了試講,一直

原创 Hadoop之Spark框架研究相關知識彙總

內容簡介: 一、Spark初現 二、Spark—大數據Big Data處理框架 三、Spark與Hadoop之比較 一、Spark初現 Spark是一個通用的並行計算框架,由UCBerkeley的AMP實驗室開發。Sp

原创 基於WordPress開發標準的個人信息發佈平臺(圖文並茂)

  WordPress是一個注重美學、易用性和網絡標準的個人信息發佈平臺。WordPress雖爲免費的開源軟件,但其價值無法用金錢來衡量。WordPress的圖形設計在性能上易於操作、易於瀏覽;在外觀上優雅大方、風格清新、色彩誘人。使用

原创 國外大數據初創公司鉅額融資 國內公司初長成

【IT商業新聞網訊】(記者 張良)大數據可能是現在VC界最關注的熱詞了。似乎和大數據沾不上邊的互聯網公司、甚至是傳統產業公司,都沒什麼前途。近期國外一些創業型的大數據公司很是被VC們看好,招來鉅額風投。 4月,大數據公司Infer

原创 sqoop框架原理及基本操作

1、Sqoop是什麼 Sqoop:SQL-to-Hadoop 傳統數據庫與Hadoop間數據同步工具 利用Mapreduce分佈式批處理,加快了數據傳輸速度,保證了容錯性 2、Sqoop1架構 sqoop1 import原

原创 工作中40個最基本的規矩

1、不論你住得多麼遠,每天早上最少提前10分鐘到辦公室,如果是統一班車,也應提前5分鐘趕到候車點。上班不遲到,少請假。2、在任何地方,碰到同事、熟人都要主動打招呼,要誠懇。3、在車上,要主動給年長者、領導、女同事讓座。不要與任何人爭上車先

原创 synchronized與static synchronized 的區別、synchronized在JVM底層的實現原理及Java多線程鎖理解

本Blog分爲如下部分: 第一部分:synchronized與static synchronized 的區別 第二部分:JVM底層又是如何實現synchronized的 第三部分:Java多線程鎖,源代碼剖析 第一部分:synchr