論萌顏美型SDK實現方式

結合當前用戶的需求和喜好,爲了有效抓住用戶增強用戶留存率,除了現有的功能玩法以外,還有非常重要的一點:是否具備高清畫質的美型功能。而美型功能又是基於萌顏SDK實現的, 我們可以將萌顏分爲兩部分:一是人臉五官自動修正,二是人臉輪廓自動調整。

人臉五官自動修正:如自動調整眼睛大小、修正鼻子形狀、調整嘴巴大小、形狀等。

人臉輪廓自動調整:對人臉大小,胖瘦進行自動調整。

 

智能萌顏算法邏輯

1.構建平均臉

針對男女分別構建正臉平均臉

2.性別識別

將用戶的人像照片進行性別識別,從而根據識別結果分別選擇男女平均臉數據。(部分代碼,僅供參考)

defweight_variable(shape,name):

    returntf.Variable(tf.truncated_normal(shape, stddev = 0.1),name=name)

 

defbias_variable(shape,name):

    return tf.Variable(tf.constant(0.1, shape =shape),name=name)

 

defconv2d(x,w,padding="SAME"):

    if padding=="SAME" :

        return tf.nn.conv2d(x, w, strides =[1,1,1,1], padding = "SAME")

    else:

        return tf.nn.conv2d(x, w, strides =[1,1,1,1], padding = "VALID")

    

def max_pool(x, kSize,Strides):

    return tf.nn.max_pool(x, ksize =[1,kSize,kSize,1],strides = [1,Strides,Strides,1], padding ="SAME")    

 

def compute_cost(Z3, Y):

3.將照片中的人臉映射到平均臉

根據用戶照片中的人臉關鍵點和平均臉的人臉關鍵點,再加上對應的映射算法,將用戶照片對齊到平均臉中。

4.計算用戶人臉和平均臉的距離

根據人臉旋轉角度對距離進行加權處理,以此來適應各種角度的用戶人臉照片。  

圖片轉自網絡,侵刪

5對用戶人臉進行不同程度變形,實現智能美型

根據D對用戶人臉進行不同程度的變形,得到智能美型結果,此處變形可以使用MLS、三角網格變形等等。(部分代碼,僅供參考) 

static voidsetSrcPoints(const vector<PointD> &qsrc, vector<PointD>&newDotL, int* nPoint) {

    *nPoint = qsrc.size();

    newDotL.clear();

    newDotL.reserve(*nPoint);

    for (size_t i = 0; i < qsrc.size(); i++)

        newDotL.push_back(qsrc);

}

 

static voidsetDstPoints(const vector<PointD> &qdst,vector<PointD>&oldDotL, int* nPoint) {

    *nPoint = qdst.size();

    oldDotL.clear();

    oldDotL.reserve(*nPoint);

 

    for (size_t i = 0; i < qdst.size(); i++)oldDotL.push_back(qdst);

}

static doublebilinear_interp(double x, double y, double v11, double v12,

                              double v21,double v22) {

    return (v11 * (1 - y) + v12 * y) * (1 - x)+ (v21 * (1 - y) + v22 * y) * x;

}


萌顏SDK可應用的場景

1.美顏相機

結合當前年輕用戶需求,可直接接入美顏相機app中,不僅可以實現一鍵智能美型,還可以使用更多萌顏動態貼紙,從而有效滿足用戶需求。

2.直播

爲了有效配合直播平臺用戶需求,具備高質量的美型功能是每一個直播平臺都非常看重的,所以接入萌顏SDK不僅可以滿足主播變美的需求,還可以給用戶帶來優質的觀看體驗。

3.短視頻

在現有的短視頻拍攝玩法上,爲用戶提供智能美型功能,從而打造完美自然的拍攝效果,提高視頻整體質量,提升用戶體驗的同時也加強了平臺用戶留存率。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章