Youtube时长预估

Watch Time推导

论文中排序模型的训练目标为视频点击率，记为：

$p = P(y=1|x)=\frac{1}{1+e^{-\theta^Tx}}$

模型上线后的预测值计算方法却是：

$predict = e^{\theta^Tx}$

其中$\theta$表示模型的参数，$x$表示模型的特征（$\theta,x$实际是模型最后一层隐层参数和输入，当模型只有一层隐层时候，则是模型的全部参数和样本特征）。

简单解释一下预测值采用这种计算方式的原因。

• 首先Logit回归，是对样本正负概率比值$Odd$的对数值用线性回归模型建模：

$log\frac{p}{1-p}=\theta^Tx$

得出

$predict=e^{\theta^Tx}=\frac{p}{1-p}$

可见Youtubed模型的在预测阶段输出的值实际上是正负概率比值，也就是所谓的Odd值。

目前为止可得出第一个结论，排序模型预测值为Odd：

$predict=Odd \space\space\space\space\space\space\space\space(1)$

• 第二，YouTube训练过程采用了播放时长做加权，也就是所谓的Weighted Logistic，模型训练的损失函数为：

$Loss=-Time*label*logp - (1-label)log(1-p)$

这种方式，相当于将当前正样本复制了Time次。

我们以具体的一个样本为例，例如样本特征为$x=X$，其中$X$表示某个具有具体取值的向量，我们将此类样本的总体记为$I=\{(y, x) | x=X\}$, 正例总体记为$I_{positive}=\{(y, x) |y=1, x=X\}$, 负例的总体$I_{negative}=\{(y, x) |y=0, x=X\}$。

将训练样本中出现的此类样本的集合，也就是采样集合，记为$S=\{(y, x)| x = X\}$。正样本采样集合记为$S_{positive}=\{(y, x)|y=1,x=X\}$，集合的大小记为$m=|S_{positive}|$, 负样本采样集合记为$S_{negative}=\{(y,x)|y=0,x=X\}$,结合的大小记为$n=|S_{negative}|$。

类似地，将正样本复制Time次后此类样本的采样集合记为$S'=\{(y,x)|x=X\}$，正样本采样集合记为$S'_{positive}=\{(y,x)|y=1,x=X\}$，负样本集合记为$S'_{negative}=\{(y,x)|y=10,x=X\}$

将复制后采样集合对用的总体集合记为$I'=\{(y,x)|x=X\}$，正样本总体记为$I'_{positive}=\{(y,x)|y=1, x=X\}$，负样本总体记为$I'_{negative}=\{(y,x)|y=0,x=X\}$。

假设训练数据采样比较充分，也就是满足$S\sim I, \space S’\sim I’。 $则有以下推导：

$Odd_I=\frac{|I_{positive}|}{|I_{negative}|}\approx Odd_S=\frac{|S_{positive}|}{|S_{negative}|}=\frac{m}{n}$

$Odd_{I'}=\frac{I'_{positive}}{I'_{negative}}\approx Odd_{S'}\frac{|S'_{positive}|}{|S'_{negative}|}=\frac{Time * |S_{positive}|}{|S_{negative}|}=Time\frac{m}{n}=Time\frac{m}{m+n-m}=Time\frac{\alpha}{1-\alpha},\alpha=\frac{m}{m+n}$

$\alpha=\frac{m}{m+n}=P(y=1|x\in S)\approx P(y=1|x\in I)=p$

目前为止，结合结论(1)可得出第二结论，Time Weighted Logitic模型预测目标为：

$predict=Odd_{I'}=Time\frac{p}{1-p},p=P(y=1|x\in I)\space\space\space\space(2)$

• 第三，继续推导，有泰勒展开式：

$Time\frac{p}{1-p}=Time * p *(1+p+p^2+p^3+...)=Time*(p + p^2 + ...)\approx Time*p, p\in (0,1)$

可以得出最后的结论：

$predict\approx Time*p=Time*P(y=1|x\in I)=E[Time; x\in I]\space\space\space\space(3)$

其中$p=P(y=1|x\in I)$, 也就是说预测值为总体集合$I$上的播放时长的期望。