原创 Spark on Yarn遇到的幾個問題及解決思路
1 概述 Spark on Yarn模式，其資源分配是交給Yarn的ResourceManager來進行管理的，但是目前的Spark版本，Application日誌的查看，只能通過Yarn的yarn logs命令實現。 在
2020-06-17 18:20:44
2
原创 美團O2O排序解決方案——線下篇
背景 針對美團90%的交易發生在移動端的業務特點，我們實現了一套適用於O2O業務的搜索排序技術方案，已在許多產品和子行業中得到應用。在之前的線上篇中，我們已經介紹了服務的框架、排序算法等。本文爲線下篇，主要講述數據清洗、特徵矩陣、監控系
2020-02-21 10:53:40
原创 spark 應用程序性能優化｜12 個優化方法
寫在前面 本系列是綜合了自己在學習spark過程中的理解記錄 ＋ 對參考文章中的一些理解 ＋ 個人實踐spark過程中的一些心得而來。寫這樣一個系列僅僅是爲了梳理個人學習spark的筆記記錄，所以一切以能夠理解爲主，沒有必要的細節就不會記
2020-02-21 10:53:40
原创 互聯網廣告系統綜述二業務背景
互聯網廣告系統綜述二業務背景 聲明： 1）該博文是整理自網上很大牛和專家所無私奉獻的資料的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對應，更有些部分本來就是直
2020-02-21 10:53:40
原创 基於機器學習方法的POI品類推薦算法
前言 在美團商家數據中心（MDC），有超過100w的已校準審覈的POI數據（我們一般將商家標示爲POI，POI基礎信息包括：門店名稱、品類、電話、地址、座標等）。如何使用這些已校準的POI數據，挖掘出有價值的信息，本文進行了
2020-02-21 10:53:40
原创 深入FFM原理與實踐
FM和FFM模型是最近幾年提出的模型，憑藉其在數據量比較大並且特徵稀疏的情況下，仍然能夠得到優秀的性能和效果的特性，屢次在各大公司舉辦的CTR預估比賽中獲得不錯的戰績。美團點評技術團隊在搭建DSP的過程中，探索並使用了FM和F
2020-02-21 10:53:40
8
原创 新的可視化幫助更好地瞭解Spark Streaming應用程序
之前，我們展示了在Spark1.4.0中 新推出的可視化功能（《Spark 1.4：SparkR發佈，鎢絲計劃鋒芒初露》[中文版]），用以更好的瞭解Spark應用程序的行爲。接着這個主題，這篇博文將重點介紹爲理解Spark Stream
2020-02-21 10:53:40
原创 通過可視化來了解你的Spark應用程序
【編者按】在"Spark 1.4：SparkR發佈，鎢絲計劃鋒芒初露"一文中，我們有簡單地介紹了1.4版本給Spark注入的新特性，在各個組件的介紹中也提到了新UI給用戶帶來的便捷。而從本文開始，我們將通過Databricks Blog上
2020-02-21 10:53:40
原创 廣告點擊率的貝葉斯平滑
廣告點擊率的貝葉斯平滑 聲明： 1）該博文是Yahoo專家所無私奉獻的論文資料整理的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對應，更有些部分本來就是直接從其
2020-02-21 10:53:40
原创 美團O2O排序解決方案——線上篇
美團的願景是連接消費者和商家，而搜索在其中起着非常重要的作用。隨着業務的發展，美團的商家和團購數正在飛速增長。這一背景下，搜索排序的重要性顯得更加突出：排序的優化能幫助用戶更便捷地找到滿足其需求的商家和團購，改進用戶體驗，提
2020-02-21 10:53:40
原创 在線學習算法FTRL
在線學習算法FTRL 聲明： 1）該博文是Google專家所無私奉獻的論文資料整理的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對應，更有些部分本來就是直接從其
2020-02-21 10:53:39
原创 深度學習word2vec筆記之算法篇
深度學習word2vec筆記之算法篇 聲明： 1）該博文是Google專家以及多位博主所無私奉獻的論文資料整理的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻 2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對
2020-02-21 10:53:29
原创 互聯網廣告綜述之點擊率系統
互聯網廣告綜述之點擊率系統 聲明： 1）該博文是整理自網上很大牛和專家所無私奉獻的資料的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對應，更有些部分本來就是直接
2020-02-21 10:53:28
原创 ROC曲線與AUC計算
ROC曲線繪製與AUC計算 聲明： 1）該博文是整理自網上很大牛和專家所無私奉獻的資料的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對應，更有些部分本來就是直接
2020-02-21 10:53:28
原创 深度學習word2vec筆記之應用篇
深度學習word2vec筆記之應用篇 聲明： 1）該博文是Google專家以及多位博主所無私奉獻的論文資料整理的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻 2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對
2020-02-21 10:53:28