網絡大廠 AI研究團隊近日在最新的Pixel相機中，於無快門模式Photobooth新增親吻偵測功能，當用戶親吻自己的愛人時，相機會自動捕捉這一瞬間。網絡大廠過去是藉由Photobooth模式，讓用戶更簡單地成功自拍，不管是一個人、情侶或是團體照，都能夠自動捕捉到最好的畫面。網絡大廠表示，要拍出一張好的團體自拍照其實不太容易，爲了能夠降低自拍的困難，網絡大廠研究團隊將自動攝影技術帶到Pixel手機上，一旦用戶進入Photobooth模式並按下快門鍵，系統將會自動在相機穩定，且同時確保拍攝對象有好表情的時候拍攝。
在一系列的Pixel相機功能中，網絡大廠於Photobooth加入了Top Shot和肖像（Portrait ）模式，來讓用戶儘可能拍出最好的照片，有別於針對後置鏡頭專用硬件優化的肖像模式，Photobooth則是針對前置鏡頭進行優化，爲了建置Photobooth，網絡大廠必須克服3項挑戰：如何在團體中正確辨識好內容、如何計算按下快門捕捉最佳時刻的時間，以及如何製作視覺動畫幫助用戶瞭解Photobooth看見的畫面。首先，網絡大廠研究團隊建立了用來理解好內容的模型，Photobooth仰賴兩個不同的模型來捕捉好的畫面，一個是臉部表情模型，另一個則是檢測用戶何時親吻的模型，網絡大廠與攝影師合作，整理了5個應該觸發自動拍攝的關鍵表情：微笑、伸舌頭、親吻（或是都嘴）、鼓起臉頰和警喜的表情，接着，網絡大廠訓練神經網絡針對這些表情進行分類。
相機系統自動辨識表情的下一步，就是要控制快門，用戶使用Photobooth模式按下快門後，系統會根據上述的模型辨識結果，針對畫面內容給予基本的質量評估分數，第一階段會將不好的畫面過濾掉，像是閉眼睛、講話、動作模糊、偵測臉部表情失敗等，Photobooth會暫時分析表情的信心值，來偵測拍照對象在照片中的表現，第一階段若成功通過，每一幀會受到更細化的分析，來產生整體的評分結果。整體的畫面評分考慮因素包含臉部表情質量和親吻分數，由於親吻偵測模型是針對整個畫面來執行，偵測輸出的結果可直接用於全畫面的分數值，而臉部表情模型是針對個別被攝者表情輸出結果，Photobooth利用attention模型將偵測到的表情，透過迭代的方式計算出表情質量的代表值，以及每個臉的權重，網絡大廠指出，權重相當重要，舉例來說，權重能夠強調畫面的前方區域，模型接着會爲畫面的表現質量，計算出一個通用的分數。內容相關來源:sbf勝博網址 http://tpmanager.org.tw/
最後，模型計算出的影像質量分數，被用來觸發快門，爲了找出拍攝出最佳質量的瞬間，快門控制算法保留了觀察畫面的短緩衝區，若一個畫面的質量分數比緩衝區之後的分數高，系統纔會保存該張照片，而緩衝區的時間也足夠短暫，讓使用者認爲Photobooth是實時的回饋。由於自拍時使用者使用的是前置鏡頭，能夠與屏幕上呈現的畫面互動，網絡大廠也在Photobooth模式中加入了視覺的指引，當用戶要拍照時，屏幕上方會出現一個直方圖案，當照片質量增加時，該直方圖案的尺寸也會變大，藉由這樣可視化的方式，協助用戶理解機器學習算法看見和捕捉的畫面，該直方圖案的長度被分爲4段，一是無法辨識清楚的臉部，二是可辨識臉部但是使用者並沒有看向鏡頭，三則是有看鏡頭但是沒有出現上述5種關鍵表情，最後則是有看向鏡頭且出現關鍵表情，長條指示圖案會隨着照片質量變動，當到達高質量分數時，Photobooth就會拍下並保存照片。