本文轉(zhuǎn)載自公眾號“讀芯術(shù)”(ID：AI_Discovery)

道路千萬條，安全第一條!疲勞駕駛可謂交通事故幾大罪魁禍?zhǔn)字?，根?jù)美國一項研究顯示，司機睡眠不足4小時，交通事故肇事幾率等同于醉駕。

[[322692]]

為了減少疲勞駕駛現(xiàn)象，駕駛員疲勞檢測應(yīng)運而生。這是一項安全技術(shù)，可以預(yù)防駕駛員在駕駛過程中因疲勞而導(dǎo)致的安全事故。

該Python中級項目的目的是建立一個駕駛員疲勞檢測系統(tǒng)，用于檢測人眼閉合時長。當(dāng)檢測到駕駛員疲勞駕駛時，該系統(tǒng)將發(fā)出警告。

駕駛員疲勞檢測系統(tǒng)

本Python項目將使用OpenCV收集來自網(wǎng)絡(luò)攝像頭的圖像，將其輸入到“深度學(xué)習(xí)”模型中，由該模型對人眼按“睜開”或“閉合”進行分類。該Python項目將采取的方法如下：

第1步-從相機中獲取圖像作為輸入。

第2步-檢測圖像中的臉部并創(chuàng)建一個感興趣區(qū)(ROI)。

第3步-從ROI中檢測人眼并將其輸入分類器。

第4步-分類器將按睜開或閉合對人眼進行分類。

第5步-計算分?jǐn)?shù)判斷駕駛員是否處于疲勞狀態(tài)。

在學(xué)習(xí)先決條件、數(shù)據(jù)集和模型結(jié)構(gòu)前，如果您是新手，建議您參考Python MasterSheet先了解Python編程語言所需的一切概念。

先決條件

該Python項目需要一個網(wǎng)絡(luò)攝像頭，用于捕獲圖像。您需要在系統(tǒng)上安裝Python(建議使用3.6版)，然后使用pip安裝所需的軟件包。

• OpenCV – 使用pip安裝opencv-python(面部和眼部檢測)。
• TensorFlow – 使用pip安裝tensorflow(keras使用TensorFlow作為后端)。
• Keras – 使用pip安裝keras(建立分類模型)。
• Pygame – 使用pip安裝pygame(播放警告提示音)。

數(shù)據(jù)集

需要創(chuàng)建用于此模型的數(shù)據(jù)集。為創(chuàng)建數(shù)據(jù)集，我們編寫了一個腳本來捕獲攝像機中的人眼圖像并將其存儲在本地磁盤中，將人眼圖像分為“睜開”或“閉合”狀態(tài)兩類，通過刪除構(gòu)建模型不需要的圖像來手動清理數(shù)據(jù)。

數(shù)據(jù)包括大約7000張在不同光照條件下的人眼圖像。在數(shù)據(jù)集上訓(xùn)練模型后，我們附加了最終權(quán)重和模型結(jié)構(gòu)文件“models /cnnCat2.h5”。現(xiàn)在，你可以使用此模型按人眼睜開還是閉合對圖像進行分類。

模型結(jié)構(gòu)

我們使用的模型是Keras通過卷積神經(jīng)網(wǎng)絡(luò)(CNN)構(gòu)建的。卷積神經(jīng)網(wǎng)絡(luò)是一種特殊類型的深度神經(jīng)網(wǎng)絡(luò)，在圖像分類方面表現(xiàn)非常出色。

CNN基本上由一個輸入層、一個輸出層和一個可以包含多個層的隱藏層組成。通過過濾器在這些層上執(zhí)行卷積運算，該濾波器在層和過濾器上執(zhí)行2D矩陣乘法。

CNN模型結(jié)構(gòu)包括以下幾層：

• 卷積層;32個節(jié)點，內(nèi)核大小為3
• 卷積層;32個節(jié)點，內(nèi)核大小為3
• 卷積層;64個節(jié)點，內(nèi)核大小為3
• 完全連接層;128個節(jié)點

最后一層也是具有2個節(jié)點的完全連接層。在所有層中，除了使用Softmax的輸出層外，均使用Relu激活函數(shù)。

Python項目進行駕駛員疲勞檢測的步驟

從zip下載python項目源代碼并提取系統(tǒng)中的文件：Python項目Zip文件。

zip的目錄為：

1.“haar級聯(lián)文件/ cascade files”文件夾包含從圖像中檢測對象所需的xml文件。在本案例中，需要檢測人臉和人眼。

2.模型文件夾包含我們的模型文件“cnnCat2.h5”，該文件是在卷積神經(jīng)網(wǎng)絡(luò)上進行訓(xùn)練的。

3.我們有一段音頻“alarm.wav”，用于在駕駛員昏昏欲睡時播放。

4.“Model.py”文件包含一個程序，通過該程序?qū)?shù)據(jù)集進行訓(xùn)練來構(gòu)建分類模型。您可以從此文件中了解卷積神經(jīng)網(wǎng)絡(luò)的執(zhí)行情況。

5.“Drowsinessdetection.py”是本項目的主要文件。開始檢測時，我們必須要運行此文件。

接下來。讓我們逐步了解該算法是怎么工作的。

第1步-從相機中獲取圖像作為輸入

使用網(wǎng)絡(luò)攝像頭獲取圖像作為輸入。為了訪問網(wǎng)絡(luò)攝像頭，我們進行了無限循環(huán)以捕獲每一幀。我們使用OpenCV提供的方法cv2.VideoCapture(0)來訪問攝像機并設(shè)置捕獲對象(cap)。cap.read()將讀取每一幀，并將圖像存儲在幀變量中。

第2步-檢測圖像中的臉部并創(chuàng)建一個感興趣區(qū)(ROI)

為了檢測圖像中的人臉，首先需要將圖像模式轉(zhuǎn)換為灰度，因為用于對象檢測的OpenCV算法需要輸入灰度圖像。因此無需顏色信息即可檢測物體。

我們將使用haar級聯(lián)分類器來檢測人臉。通過face =cv2.CascadeClassifier('抵達haar級聯(lián)xml文件的路徑')設(shè)置分類器，然后使用faces =face.detectMultiScale(gray)執(zhí)行檢測。進而產(chǎn)生帶有x、y坐標(biāo)以及高度(對象邊界框的寬度)的檢測數(shù)組?，F(xiàn)在我們可以迭代這些臉并為每張人臉繪制邊界框。

for (x,y,w,h)in faces:cv2.rectangle(frame,(x,y), (x+w, y+h), (100,100,100), 1 ) 

第3步-從ROI中檢測人眼并將其輸入分類器

檢測人臉的過程也同樣適用于檢測人眼。

首先，我們分別在leye和reye中為眼睛設(shè)置級聯(lián)分類器，然后使用left_eye =leye.detectMultiScale(gray)來檢測人眼?，F(xiàn)在，我們只需要從完整圖像中提取出人眼數(shù)據(jù)即可。這可以通過提取眼睛的邊界框來實現(xiàn)，然后可以使用此代碼從幀中提取眼睛圖像。

l_eye =frame[ y : y+h, x : x+w ] 

l_eye僅包含左眼的圖像數(shù)據(jù)。這將被輸入到CNN分類器中，該分類器將預(yù)測眼睛是處于睜開還是閉合狀態(tài)。同樣，我們將右眼的數(shù)據(jù)提取到r_eye中。

第4步-分類器將按睜開或閉合對眼睛進行分類。

使用CNN分類器預(yù)測眼睛狀態(tài)。因為模型需要從正確的維度開始，因此將圖像輸入模型之前需要執(zhí)行一些操作。

首先，使用r_eye = cv2.cvtColor(r_eye，cv2.COLOR_BGR2GRAY)將彩色圖像轉(zhuǎn)換為灰度圖像。

然后，由于模型是在24 * 24像素的圖像上測試，需要將圖像也調(diào)整為24 * 24像素：

cv2.resize(r_eye，(24,24))。我們將數(shù)據(jù)標(biāo)準(zhǔn)化以實現(xiàn)更好的收斂性：r_eye = r_eye/ 255(所有值都在0-1之間)。擴展維度以輸入到分類器中。使用model = load_model(‘models / cnnCat2.h5’)來加載模型。

現(xiàn)在我們用模型預(yù)測每只眼睛的狀態(tài)：lpred =model.predict_classes(l_eye)。如果lpred [0]= 1，則說明眼睛是睜開的;如果lpred [0]= 0，則說明眼睛是閉合的。

第5步-計算分?jǐn)?shù)判斷駕駛員是否處于疲勞狀態(tài)

分?jǐn)?shù)基本上是一個值，用于確定駕駛員閉眼的時長。因此，如果雙眼都閉合，得分將不斷增加，而雙眼睜開時，得分將降低。使用cv2.putText()函數(shù)在屏幕上繪制結(jié)果，該函數(shù)將顯示駕駛員的實時狀態(tài)。

cv2.putText(frame,“Open”, (10, height-20), font, 1, (255,255,255), 1, cv2.LINE_AA ) 

閾值由以下方法確定：例如，如果得分大于15意味著該駕駛員閉眼時間較長，則閾值為15。此時，我們將使用sound.play()發(fā)出警報。

主要文件的源代碼如下：

import cv2 
import os 
fromkeras.models 
importload_model 
import numpy asnp 
from pygameimport mixer 
import time 
mixer.init() 
sound =mixer.Sound('alarm.wav') 
face =cv2.CascadeClassifier('haar cascade files\haarcascade_frontalface_alt.xml') 
leye =cv2.CascadeClassifier('haar cascade files\haarcascade_lefteye_2splits.xml') 
reye =cv2.CascadeClassifier('haar cascade files\haarcascade_righteye_2splits.xml') 
lbl=['Close','Open'] 
model =load_model('models/cnncat2.h5') 
path =os.getcwd() 
cap = cv2.VideoCapture(0) 
font =cv2.FONT_HERSHEY_COMPLEX_SMALL 
count=0 
score=0 
thicc=2 
rpred=[99] 
lpred=[99] 

while(True): 
    ret, frame = cap.read() 
    height,width = frame.shape[:2] 
    gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY) 
    faces =face.detectMultiScale(gray,minNeighbors=5,scaleFactor=1.1,minSize=(25,25)) 
    left_eye = leye.detectMultiScale(gray) 
    right_eye = reye.detectMultiScale(gray) 
    cv2.rectangle(frame, (0,height-50) ,(200,height) , (0,0,0) , thickness=cv2.FILLED ) 
    for (x,y,w,h) in faces: 
cv2.rectangle(frame,(x,y) , (x+w,y+h) , (100,100,100) , 1 ) 
    for (x,y,w,h) in right_eye: 
        r_eye=frame[y:y+h,x:x+w] 
        count=count+1 
        r_eye =cv2.cvtColor(r_eye,cv2.COLOR_BGR2GRAY) 
        r_eye = cv2.resize(r_eye,(24,24)) 
        r_eye= r_eye/255 
        r_eye= r_eye.reshape(24,24,-1) 
        r_eye = np.expand_dims(r_eye,axis=0) 
        rpred = model.predict_classes(r_eye) 
        if(rpred[0]==1): 
            lbl='Open' 
        if(rpred[0]==0): 
            lbl='Closed' 
        break 
    for (x,y,w,h) in left_eye: 
        l_eye=frame[y:y+h,x:x+w] 
        count=count+1 
        l_eye = cv2.cvtColor(l_eye,cv2.COLOR_BGR2GRAY) 
        l_eye = cv2.resize(l_eye,(24,24)) 
        l_eye= l_eye/255 
        l_eye=l_eye.reshape(24,24,-1) 
        l_eye = np.expand_dims(l_eye,axis=0) 
        lpred = model.predict_classes(l_eye) 
        if(lpred[0]==1): 
            lbl='Open' 
        if(lpred[0]==0): 
            lbl='Closed' 
        break 
    if(rpred[0]==0 and lpred[0]==0): 
        score=score+1 
       cv2.putText(frame,"Closed",(10,height-20), font,1,(255,255,255),1,cv2.LINE_AA) 
    # if(rpred[0]==1 or lpred[0]==1): 
    else: 
        score=score-1 
       cv2.putText(frame,"Open",(10,height-20), font,1,(255,255,255),1,cv2.LINE_AA) 
    if(score<0): 
        score=0 
   cv2.putText(frame,'Score:'+str(score),(100,height-20), font,1,(255,255,255),1,cv2.LINE_AA) 
    if(score>15): 
        #person is feeling sleepy so we beepthe alarm 
       cv2.imwrite(os.path.join(path,'image.jpg'),frame) 
        try: 
            sound.play() 
        except: # isplaying = False 
            pass 
        if(thicc<16): 
            thicc= thicc+2 
        else: 
            thicc=thicc-2 
            if(thicc<2): 
                thicc=2 
       cv2.rectangle(frame,(0,0),(width,height),(0,0,255),thicc) 
    cv2.imshow('frame',frame) 
    if cv2.waitKey(1) & 0xFF == ord('q'): 
        break 
cap.release() 
cv2.destroyAllWindows() 

Python項目示例

開始項目，查看項目運作情況。要啟動該項目，需要打開命令提示符，轉(zhuǎn)到主文件“ drowsinessdetection.py”所在的目錄。使用如下命令運行腳本。

python“drowsiness detection.py” 

可能需要幾秒鐘來打開網(wǎng)絡(luò)攝像頭并開始檢測。

示例截圖：

輸出截圖：

1.閉眼檢測

2. 睜眼檢測

3. 疲勞警告

此Python項目構(gòu)建了一個駕駛員疲勞警報系統(tǒng)，你可以通過多種方式實施該系統(tǒng)。我們通過Haar級聯(lián)分類器，使用OpenCV檢測人臉和人眼，然后根據(jù)CNN模型預(yù)測狀態(tài)。

規(guī)范駕駛哪家強?Python安全員幫你忙。為了自己和他人的生命安全，請不要疲勞駕駛!