簡介
Dlib由C++編寫，提供了和機器學習、數值計算、圖模型算法、圖像處理等領域相關的一系列功能
- 官方網站：http://dlib.net/
- Github項目：https://github.com/davisking/dlib
安裝
安裝Dlib之前需要先安裝cmake，這裏以源碼方式安裝，去官網根據系統下載相應的源碼，https://cmake.org/download/
- Linux、Mac OS：https://cmake.org/files/v3.10/cmake-3.10.2.tar.gz
- Windows：https://cmake.org/files/v3.10/cmake-3.10.2.zip
解壓之後，在終端裏進入源碼目錄，依次運行以下命令
./bootstrap
make
sudo make install
sudo是以root權限運行命令，適用於Linux和Mac OS
如果是Windows，則以管理員身份打開cmd，並且最後一行命令改爲
make install
接下來，在終端中運行以下命令，檢查cmake是否成功安裝
cmake --version
如果出現了相應的版本信息，則說明cmake安裝成功
之後便可以使用pip安裝Dlib
pip install dlib
安裝之後進入Python，如果能正常import，則說明Dlib安裝成功
import dlib
如果是Mac OS，還需要安裝XQuartz用於顯示圖像
安裝XQuartz之後如果碰到類似以下問題
xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun
那麼在命令行運行以下命令即可解決
xcode-select --install
完成以上安裝工作之後，我們來體驗下Dlib提供的一些和圖片處理相關的例子
人臉檢測
加載庫
# -*- coding: utf-8 -*-
import dlib
from imageio import imread
import glob
準備好人臉檢測器和顯示窗口，獲取圖片路徑
detector = dlib.get_frontal_face_detector()
win = dlib.image_window()
paths = glob.glob('faces/*.jpg')
對每一張圖片進行檢測，並顯示檢測結果對應的矩形框
for path in paths:
img = imread(path)
# 1 表示將圖片放大一倍，便於檢測到更多人臉
dets = detector(img, 1)
print('檢測到了 %d 個人臉' % len(dets))
for i, d in enumerate(dets):
print('- %d：Left %d Top %d Right %d Bottom %d' % (i, d.left(), d.top(), d.right(), d.bottom()))
win.clear_overlay()
win.set_image(img)
win.add_overlay(dets)
dlib.hit_enter_to_continue()
檢測時也可以指定一個閾值
path = 'faces/2007_007763.jpg'
img = imread(path)
# -1 表示人臉檢測的判定閾值
# scores 爲每個檢測結果的得分，idx 爲人臉檢測器的類型
dets, scores, idx = detector.run(img, 1, -1)
for i, d in enumerate(dets):
print('%d：score %f, face_type %f' % (i, scores[i], idx[i]))
win.clear_overlay()
win.set_image(img)
win.add_overlay(dets)
dlib.hit_enter_to_continue()
人臉關鍵點檢測
使用訓練好的模型shape_predictor_68_face_landmarks.dat，在檢測出人臉的同時，檢測出人臉上的68個關鍵點
加載庫
# -*- coding: utf-8 -*-
import dlib
from imageio import imread
import glob
準備好人臉檢測器、關鍵點檢測模型、顯示窗口、圖片路徑
detector = dlib.get_frontal_face_detector()
predictor_path = 'shape_predictor_68_face_landmarks.dat'
predictor = dlib.shape_predictor(predictor_path)
win = dlib.image_window()
paths = glob.glob('faces/*.jpg')
檢測每一張圖片
for path in paths:
img = imread(path)
win.clear_overlay()
win.set_image(img)
# 1 表示將圖片放大一倍，便於檢測到更多人臉
dets = detector(img, 1)
print('檢測到了 %d 個人臉' % len(dets))
for i, d in enumerate(dets):
print('- %d: Left %d Top %d Right %d Bottom %d' % (i, d.left(), d.top(), d.right(), d.bottom()))
shape = predictor(img, d)
# 第 0 個點和第 1 個點的座標
print('Part 0: {}, Part 1: {}'.format(shape.part(0), shape.part(1)))
win.add_overlay(shape)
win.add_overlay(dets)
dlib.hit_enter_to_continue()
人臉識別
不光是檢測人臉，還要知道每張臉是誰
Dlib將每張人臉映射爲一個128維的向量，當兩個向量之間的Euclidean距離小於0.6時，可以認爲屬於同一個人
以上判定標準在LFW（Labeled Faces in the Wild，08課提到過）數據集上可以獲得99.38%的識別準確率
這裏需要用到兩個模型，shape_predictor_68_face_landmarks.dat和dlib_face_recognition_resnet_model_v1.dat，根據人臉檢測結果得到關鍵點檢測結果，根據關鍵點檢測結果進一步得到128維向量表示
加載庫
# -*- coding: utf-8 -*-
import dlib
from imageio import imread
import glob
import numpy as np
準備好模型和圖片
detector = dlib.get_frontal_face_detector()
predictor_path = 'shape_predictor_68_face_landmarks.dat'
predictor = dlib.shape_predictor(predictor_path)
face_rec_model_path = 'dlib_face_recognition_resnet_model_v1.dat'
facerec = dlib.face_recognition_model_v1(face_rec_model_path)
labeled = glob.glob('labeled/*.jpg')
labeled_data = {}
unlabeled = glob.glob('unlabeled/*.jpg')
距離計算函數
# 定義一個計算Euclidean距離的函數
def distance(a, b):
# d = 0
# for i in range(len(a)):
# d += (a[i] - b[i]) * (a[i] - b[i])
# return np.sqrt(d)
return np.linalg.norm(np.array(a) - np.array(b), ord=2)
獲取標註圖片對應的向量表示
# 讀取標註圖片並保存對應的128向量
for path in labeled:
img = imread(path)
name = path.split('/')[1].rstrip('.jpg')
dets = detector(img, 1)
# 這裏假設每張圖只有一個人臉
shape = predictor(img, dets[0])
face_vector = facerec.compute_face_descriptor(img, shape)
labeled_data[name] = face_vector
將未標註圖片的向量表示，和標註圖片逐一匹配
# 讀取未標註圖片，並和標註圖片進行對比
for path in unlabeled:
img = imread(path)
name = path.split('/')[1].rstrip('.jpg')
dets = detector(img, 1)
# 這裏假設每張圖只有一個人臉
shape = predictor(img, dets[0])
face_vector = facerec.compute_face_descriptor(img, shape)
matches = []
for key, value in labeled_data.items():
d = distance(face_vector, value)
if d < 0.6:
matches.append(key + ' %.2f' % d)
print('{}：{}'.format(name, ';'.join(matches)))
結果顯示，全部標註圖片都通過了匹配，說明白百合和王珞丹是真的像……
人臉聚類
對於大量圖片中的大量人臉，基於以上人臉識別標準進行聚類，把距離較近的人臉聚爲一類，即有可能爲同一個人
加載庫
# -*- coding: utf-8 -*-
import dlib
from imageio import imread
import glob
import os
from collections import Counter
準備好模型和圖片
detector = dlib.get_frontal_face_detector()
predictor_path = 'shape_predictor_68_face_landmarks.dat'
predictor = dlib.shape_predictor(predictor_path)
face_rec_model_path = 'dlib_face_recognition_resnet_model_v1.dat'
facerec = dlib.face_recognition_model_v1(face_rec_model_path)
paths = glob.glob('faces/*.jpg')
獲取所有圖片的關鍵點檢測結果和向量表示
vectors = []
images = []
for path in paths:
img = imread(path)
dets = detector(img, 1)
for i, d in enumerate(dets):
shape = predictor(img, d)
face_vector = facerec.compute_face_descriptor(img, shape)
vectors.append(face_vector)
images.append((img, shape))
以0.5爲閾值進行聚類，並找出人臉數量最多的類
labels = dlib.chinese_whispers_clustering(vectors, 0.5)
num_classes = len(set(labels))
print('共聚爲 %d 類' % num_classes)
biggest_class = Counter(labels).most_common(1)
print(biggest_class)
將最大類中包含的人臉保存下來，類似的也可以處理其他的類
output_dir = 'most_common'
if not os.path.exists(output_dir):
os.mkdir(output_dir)
face_id = 1
for i in range(len(images)):
if labels[i] == biggest_class[0][0]:
img, shape = images[i]
dlib.save_face_chip(img, shape, output_dir + '/face_%d' % face_id, size=150, padding=0.25)
face_id += 1
物體追蹤
物體追蹤是指，對於視頻文件，在第一幀指定一個矩形區域，對於後續幀自動追蹤和更新區域的位置
加載庫
# -*- coding: utf-8 -*-
import dlib
from imageio import imread
import glob
準備好追蹤器和圖片
tracker = dlib.correlation_tracker()
win = dlib.image_window()
paths = sorted(glob.glob('video_frames/*.jpg'))
追蹤圖片中的物體
for i, path in enumerate(paths):
img = imread(path)
# 第一幀，指定一個區域
if i == 0:
tracker.start_track(img, dlib.rectangle(74, 67, 112, 153))
# 後續幀，自動追蹤
else:
tracker.update(img)
win.clear_overlay()
win.set_image(img)
win.add_overlay(tracker.get_position())
dlib.hit_enter_to_continue()
儘管物體的位置在不斷變化，Dlib始終能夠比較準確地進行追蹤
參考
- Dlib官網：http://dlib.net/
- Dlib Github：https://github.com/davisking/dlib