原创 Kafka面試，你真的過關了嗎？
在熱招的大數據架構師崗位面試中，Kafka 面試題被面試官選中的機率非常大，也是HR 的殺手鐗和狠招，一般來講，面試題有以下幾種：1. Kafka 爲什麼這麼快？2. 如何對 Kafka 集羣進行調優？3. Kafka 的高性能網絡架構
2020-06-23 04:40:54
原创 從行存儲到 RCFile，Facebook 爲什麼要設計出 RCFile？
2010年，Facebook 的工程師在 ICDC（IEEE International Conference on Data Engineering） 發表了一篇 《RCFile: A Fast and Space-efficient
2020-06-23 04:40:54
原创 Apache Spark 3.0.0 正式版終於發佈了，重要特性全面解析
原計劃在2019年年底發佈的 Apache Spark 3.0.0 今天終於趕在下週二舉辦的 Spark Summit AI 會議之前正式發佈了! Apache Spark 3.0.0 自2018年10月02日開發到目前已經經歷了近21
2020-06-23 04:40:54
原创 Kafka架構原理，也就這麼回事！
圖片來自 Pexels最終大家會掌握 Kafka 中最重要的概念，分別是 Broker、Producer、Consumer、Consumer Group、Topic、Partition、Replica、Leader、Follower，這
2020-06-16 04:53:47
原创 來自 Facebook 的 Spark 大作業調優經驗
Facebook Spark 的使用情況在介紹下面文章之前我們來看看 Facebook 的 Spark 使用情況：如果想及時瞭解Spark、Hadoop或者HBase相關的文章，歡迎關注微信公衆號：iteblog_hadoop•Spar
2020-06-15 18:31:02
原创 日誌採集系統都用到哪些技術？
本文原文：http://jm.taobao.org/2018/06/13/日誌採集中的關鍵技術分析/ （點擊下面閱讀原文即可進入）概述日誌從最初面向人類演變到現在的面向機器發生了巨大的變化。最初的日誌主要的消費者是軟件工程師，他們通過讀
2020-06-14 03:49:06
原创 Flink在快手實時多維分析場景的應用
分享嘉賓：董亭亭、徐明 快手編輯整理：王洪達內容來源：Flink Forward Asia出品平臺：Flink中文社區、DataFunTalk導讀：作爲短視頻分享跟直播的平臺，快手有諸多業務場景應用了 Flink，包括短視頻、直播的質量
2020-06-14 03:49:06
原创 58同城寶實時數倉建設實踐
背景作爲國內領先的覆蓋生活全領域的服務平臺，58同城業務覆蓋招聘、房產、汽車、金融等生活領域的各個方面。58同城寶是針對生活服務信息做廣告推廣的平臺，依託58同城海量的商戶和每天更新的生活數據，58同城寶可以爲媒體方提供最豐富最真實的生
2020-06-12 15:56:21
原创 HBase 不停機升級在滴滴的實踐
桔妹導讀：滴滴HBase團隊日前完成了0.98版本 -> 1.4.8版本滾動升級，用戶無感知。新版本爲我們帶來了豐富的新特性，在性能、穩定性與易用性方便也均有很大提升。我們將整個升級過程中面臨的挑戰、進行的思考以及解決的問題總結成文，希
2020-06-12 15:56:21
原创 1000 萬條數據，建了索引還是慢，咋辦？
最近，疫情平穩了不少，出來面試的人也多了起來。估計都是去年就打算跳槽的，沒想到碰上了新冠。光是這兩天，我就面試了好幾位，發現不少候選人，對數據庫的認知還處在比較基礎的階段，以爲會寫“增刪改查”、做表關聯就足夠了，那些工作中經常出現的問題
2020-06-12 15:56:21
原创 噹噹年中慶典，力度超前，據說他花200買了10本書！
囤書囤書我們一起閱讀經典，緊跟前沿技術不掉隊這次繼續給愛讀書的你們最大的優惠力度噹噹618年中大促，百萬自營圖書>> 每滿100減50 <<滿200減100滿300減150滿400減200不止如此！秉持絕不讓大家多花一分錢的精神華章計
2020-06-11 13:17:56
原创 “疫情之下，我同時收到騰訊發過來的3份offer”
一般來說年後的這段時間是大廠招聘、就業者求職跳槽的黃金時期，但今年因爲疫情的原因，很多人的辭職計劃被擱淺了下來，有些年前已經辭完職坐等年後復工找新工作的程序員陷入了遲遲找不到工作的焦慮中。但是也有一些小夥伴在這種困境下也拿到了BATJ等
2020-06-10 09:05:12
原创 支撐美團萬億級數據中心的計算引擎架構演進
本文將詳細闡述 Watt 計算引擎的演進歷程及架構設計，同時詳細介紹其全面提升計算能力、吞吐能力、降低運維成本所採用的各項技術方案。希望能給大家一些啓發或者幫助。一、OCTO數據中心簡介1.1 系統介紹1.1.1 OCTO系統介紹OCT
2020-06-10 09:05:12
原创 Apache Spark 在eBay 的優化
供稿 | eBay DSS Team作者 | 田川曉陽編輯 | 顧欣怡本文4490字，預計閱讀時間14分鐘導讀新一代數據開發分析平臺Zeta由eBay DSS(Data Services and Solutions) 團隊自主研發，主要
2020-06-10 09:05:12
原创 一文徹底搞清 Kafka 的副本複製機制
也可以到過往記憶大數據博客閱讀（點擊下面閱讀原文即可） https://www.iteblog.com/archives/2556.html讓分佈式系統的操作變得簡單，在某種程度上是一種藝術，通常這種實現都是從大量的實踐中總結得到的。A
2020-06-08 08:29:40