互聯網技術學習中的一些資源總結
Hadoop在大數據世界裏的地位毋庸置疑,總結一下一些學習資源。當然還有一些java、python等等。
IT電子書下載:只有英文版哦
Hadoop
準備工作
YARN介紹
Hadoop 生態系統
SQL on Hadoop
SQL is what’s next for Hadoop: Here’s who’s doing it
All SQL-on-Hadoop Solutions are missing the point of Hadoop
Hadoop Summit
書籍和Paper
Hadoop : The Definitive Guide 絕對是經典中的經典
Hadoop: The Definitive Guide, 4rd Edition
該書作者的Github主頁及Hadoop-book主頁
Google的三輛馬車,GFS, MapReduce, BigTable
Google的新三輛馬車:Caffeine、Pregel、Dremel
Big Data beyond MapReduce: Google’s Big Data papers
入門
1、理解MapReduce框架的基本流程:Map、shuffle、Reduce
2、清楚Combiner, partition作用,設置Compression
3、能搭建Hadoop集羣,Master/Slave 都運行那些服務 NameNode, DataNode, JobTracker, TaskTracker,最好是完全分佈式的Hadoop集羣
4、Pig, Hive 簡單語法,UDF寫法
When to use Pig Latin versus Hive SQL?
Introduction to Apache Hive Online Training
Hive – A Petabyte Scale Data Warehouse Using Hadoop
Hadoop 2.0新知識 (Hadoop 1.xx VS Hadoop 2.xx)
HDFS2 HA, Snapshot, ResourceManager,ApplicationsManager, NodeManager
進階
HDFS,Replica如何定位
HDFS Design
Hadoop 參數調優,性能優化,Cluster level: JVM, Map/Reduce Slots, Job level: Reducer #, Memory, use Combiner? use Compression?
7 Tips for Improving MapReduce Performance
Apache HBase ™ Reference Guide
算法
字典同位詞:由相同字母組成的不同單詞
翻譯SQL語句
Designing algorithms for Map Reduce
Blog
讓你知道日誌文件在大數據中是多麼重要
與Hadoop相關係統
數據流系統: Storm
內存計算系統: Spark and Shark
交互式實時系統:Cloudera Impala, Apache Drill (Dremel開源實現),Tez (Hortonworks)
Hadoop相關公司
Java
查看知識點,當然不僅只有java。
其它類
Linux
有這個教程後就不需要買什麼歌叫你學Linux了,命令忘了上網查,多查幾次你就主動去記住應該記住的命令。
Linux 使用,基本的 Shell 編程,這個視頻教程很好,我一直用它學Linux
面試
養成維護自己中英文簡歷的習慣(mordenCV)
在線代碼測評,如 Leetcode
筆試、面試題庫,如 牛客網
筆試面試經驗,如 米羣
題解及 Cheat Sheet,如 LeetCode 題解、Machine Learning Cheat Sheet
時間管理
知識管理
站點推薦
問答:V2EX、SegmentFault、Reddit
視頻:慕課網
Github 不僅是代碼,還有技術筆記、題解等等
知識保存
用版本控制工具和代碼片段工具管理你的代碼
Markdown :
Ulysses、Haroopad 等 Markdown 類編輯軟件
Gitbook 適合教程類書籍寫作
《Docker 技術入門與實踐》 楊保華
該資源由本人整理,很大部分來自於 董飛老師的知乎