原创 第14課：Spark RDD 解密
第14課：Spark RDD解密 1 RDD：基於工作集的應用抽象 2 RDD內幕解密 3 RDD 思考 MapReduce是基於數據集的 位置感知，容錯 負載均衡 基於數據集的處理：從物理存儲上加載數據，然後操作數據 然後寫入物理存儲設
2018-08-26 11:28:26
原创 前端系列 | 2015年雙11手淘前端技術巡演 - 前言
前端系列 | 2015年雙11手淘前端技術巡演 - 前言 2015-11-16 手機淘寶技術團隊MTT 15年雙11剛落下帷幕。今年衆所周知，是全面“無線化”的一年。數據上我就不說了，可以公開的數據我相信大家多多少少也從各方都
2018-08-26 11:28:26
原创 淘寶大秒系統設計詳解
導讀：最初的秒殺系統的原型是淘寶詳情上的定時上架功能，由於有些賣家爲了吸引眼球，把價格壓得很低。但這給的詳情繫統帶來了很大壓力，爲了將這種突發流量隔離，才設計了秒殺系統，文章主要介紹大秒系統以及這種典型讀數據的熱點問題的解決思路和實踐經
2018-08-26 11:28:26
1
原创 MapReduce過程、Spark和Hadoop以Shuffle爲中心的對比分析
mapreduce與Spark的map-Shuffle-reduce過程 mapreduce過程解析（mapreduce採用的是sort-based shuffle） 將獲取到的數據分片partition進行解析，獲得k/v對，之後交由
2018-08-26 11:28:26
4
原创 常見的技術博客
http://blog.51cto.com/ http://www.cnblogs.com/ http://www.iteye.com/blogs http://blog.sina.com.cn/ http://blog.sohu.com
2018-08-26 11:28:26
原创 個人總結
1：jenkins+gitlab+redmine Jenkins 是一個可擴展的持續集成引擎。 主要用於： 持續、自動地構建/測試軟件項目。 監控一些定時執行的任務。 目前持續集成(CI)已成爲當前許多軟件開發團隊在整個軟件開發
2018-08-26 11:28:25
原创 第4集：Scala模式匹配、類型系統徹底精通與Spark源碼閱讀
模式匹配和java中的switch case 強大很大，除了值，類型，集合等進行匹配 最常見的Case class 進行匹配 Master.scala 有大量的模式匹配 模式匹配的使用編寫簡介明瞭，簡潔等 Case “_” 不滿足上面所
2018-08-26 11:28:25
4
原创 Scala光速入門之Scala的基本語法、Array、Map、Tuple等
首先很高興能成爲王老師3000門徒之一，在新年第一天第一課《Scala光速入門》就長達三個小時，在這三個小時的時間裏面，整體上感覺難度不是很大，但由於前期沒有準備Scala環境，僅僅聽導致效率很低，導致中間大半個小時基本上收穫比較低，今天
2018-08-26 11:28:24
2
原创 第3課：Scala函數式編程徹底精通及spark源碼閱讀
Scala最迷人的方式是函數式編程 Spark中的多數計算都是用函數式編程的，處理數據的時候都是針對集合的，一般都會作用的集合之上。 高階函數，是scala和java最大不同點，最大價值 今天講每一個例子沒一點，都必須掌握，開啓全新的編
2018-08-26 11:28:24
原创 手機淘寶架構演化實踐
發展階段 從2009年開始，DAU從100萬增長到超過1億，面臨的問題、包括研發支撐所需要解決的事情各不相同。在用戶量和業務複雜度的線性遞增下，架構也進行了相應的演進。如下圖所示，具體可以分爲四個階段： 第一階段，手淘的前身W
2018-08-26 11:28:24
原创 分佈式搜索Elasticsearch——配置
配置文件位於%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打開它，你便可以進行配置。 所有的配置都可以使用環境變量，例如：node.rack: ${RACK_ENV_VAR}
2018-08-26 11:28:24
原创 優秀的博客地址-冰凍三尺非一日之寒
MR-fox 冰凍三尺,非一日之寒！ 博客園 :: 首頁 :: 博問 :: 閃存 :: 新隨筆 :: 聯繫 :: 訂閱 :: 管理 :: 183 隨筆 :: 5 文章 :: 76 評論 :: 0 引用
2018-08-26 11:28:24
原创 架構之路（三）：單元測試
摘要：“測試驅動”是一個最具爭議的話題，沒有之一。吹捧者和反對者涇渭分明，而且都有大量的論據和證明。林外，架構是一種“無奈”，是現實是問題驅使你去做一些其實你本來不想做的事情。 【編者按】本文作者自由飛是一個奇人， 徹徹底底的非科班
2018-08-26 11:28:24
原创 從大數據菜鳥走上大師的歷程
大數據是用scala語言，和java有些不同又比java強大，省去了很多繁瑣的東西，scala中的的接口用trait來定義，不同於java的接口，trait中可以有抽象方法也可以有不抽象方法。scala中的方法中還可以定義方法，這在ja
2018-08-26 11:28:24
1
原创 第6集 精通spark集羣搭建
1：安裝虛擬機（VMware+ubuntukylin-14.04.3-desktop-amd64 ） 2：網絡配置：Ubuntu 系統配置文件在：/etc/network/interfaces 編輯配置文件：sudo vi /etc/
2018-08-26 11:28:24
1