原创 Android SDK Fetching URL: http://dl-ssl.google.com/.......解決方法

如果沒有翻牆,在安裝android sdk的時候會出現這個問題 Fetching URL: http://dl-ssl.google.com/android/repository/sys-img/google_apis/sys-img.x

原创 【美團外賣】廣告算法 高級研發工程師/技術專家

崗位職責: 1,廣告相關算法的研究及開發工作; 2,CTR/CVR預估算法及系統的研發; 3,O2O廣告模式、機制策略的探索研究; 4,Query分析及相關性的研究; 5,智能投放、運營側算法的研究與優化; 崗位要求

原创 關聯規則應用到圖書推薦的問題

本文是觀看了小象學院《大數據應用中的算法如何創造商業價值》,現在做一下梳理 問題:噹噹網中”最佳拍檔”中的關聯規則算法 對於解決一個實際的問題,我們看一下一般的思路流程是什麼樣的 1. 目前的關聯規則是什麼的 2. 問題發現和分析:現在

原创 MapReduce中的二次排序

MapReduce中的二次排序 2013年08月18日 ⁄ hadoop, hadoop及周邊, mapreduce ⁄ 暫無評論 在MapReduce操作時,我們知道傳遞的<key,value>會按照key的大小進行排序,

原创 hadoop MapReduce join

1. 概述 在傳統數據庫(如:MYSQL)中,JOIN操作是非常常見且非常耗時的。而在HADOOP中進行JOIN操作,同樣常見且耗時,由於Hadoop的獨特設計思想,當進行JOIN操作時,有一些特殊的技巧。 本文首先介紹了Hadoo

原创 邏輯迴歸

轉自:http://blog.csdn.net/pakko/article/details/37878837 什麼是邏輯迴歸? Logistic迴歸與多重線性迴歸實際上有很多相同之處,最大的區別就在於它們的因變量不同,其他的基本都差

原创 hadoop用mutipleInputs實現map讀取不同格式的文件

mapmap讀取不同格式的文件這個問題一直就有,之前的讀取方式是在map裏獲取文件的名稱,按照名稱不同分不同的方式讀取,例如下面的方式 //取文件名稱 InputSplit inputSplit = context.getInputSp

原创 Kmeans K值的確定

《大數據》中提到:給定一個合適的類簇指標,比如平均半徑或直徑,只要我們假設的類簇的數目等於或者高於真實的類簇的數目時,該指標上升會很緩慢,而一旦試圖得到少於真實數目的類簇時,該指標會急劇上升。   類簇的直徑是指類簇內任意兩點之間的最

原创 信用評分的簡單小結(ROC,IV,WOE)

轉自:http://chen.yi.bo.blog.163.com/blog/static/150621109201011115616880/ 由於專業的關係,我學習信用評分的時候往往最關注模型那一塊,前段時間一直有很多困惑,這周認真地看

原创 【獨家】互聯網變現與計算廣告(乾貨+5000字精彩問答)

本講座選自2015年9月28日劉鵬先生在清華大數據“技術·前沿”講座上所做的題爲《互聯網變現與計算廣告》的演講。 劉鵬:大家好,我是老的清華人,諸位都是95後了,你們出生的時候我是95年入學。清華電子系呆了十年,04年年底博士畢業,畢業以

原创 數據&特徵

在做機器學習的時候,首先面對的問題不是模型,而是數據和特徵,在實際操作的過程中,我們發現,在數據和特徵上花費的時間要遠大於在模型上花費的時間,所以,這一節我們來總結一下數據和特徵需要的事情 數據上面臨的問題以下幾個:數據採集、數據格式化存

原创 支持向量機的常見問題和推導

一.問題: 1.      Svm是什麼 2.      什麼是支持向量 3.      什麼是最優間隔分類法 4.      最優間隔分類法與最小二乘、最大似然法的比較 5.      什麼是拉格朗日 6.      什麼是對偶 7. 

原创 在mac上安裝Xgboost Python庫

最近在mac上用到xgboost庫,安裝時遇到頗多大坑,網上查了很多答案几乎都是win上的問題,沒遇到理想的,自己也就摸着石頭把幾個大坑給填了,總結一下,給後人少走點彎路。 1.錯誤 倘若直接 pip install xgboost時,會

原创 vc維的解釋

在做svm的時候我們碰到了結構風險最小化的問題,結構風險等於經驗風險+vc置信範圍,其中的vc置信範圍又跟樣本的數量和模型的vc維有關,所以我們看一下什麼是vc維 首先看一下vc維的定義:對一個指標函數集,如果存在H個樣本能夠被函數集中的

原创 lpa標籤傳播算法講解及代碼實現

package lpa; import java.util.Arrays; import java.util.HashMap; import java.util.Map; public class LPA { public s