基于 Spring Boot 的實(shí)時(shí)人臉檢測(cè)和識(shí)別系統(tǒng)
作者：編程疏影
本文首先介紹了實(shí)時(shí)人臉檢測(cè)和識(shí)別系統(tǒng)的基本需求和技術(shù)挑戰(zhàn)。接著，通過(guò)Spring Boot和WebSocket技術(shù)實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的實(shí)時(shí)人臉檢測(cè)與識(shí)別系統(tǒng)，并結(jié)合代碼示例詳細(xì)講解了實(shí)現(xiàn)過(guò)程。
基于 Spring Boot 的實(shí)時(shí)人臉檢測(cè)和識(shí)別系統(tǒng)
隨著人工智能和計(jì)算機(jī)視覺(jué)技術(shù)的不斷發(fā)展，實(shí)時(shí)人臉檢測(cè)和識(shí)別技術(shù)在安防、考勤、門禁控制等領(lǐng)域的應(yīng)用越來(lái)越廣泛。實(shí)現(xiàn)一個(gè)高效、穩(wěn)定的實(shí)時(shí)人臉檢測(cè)和識(shí)別系統(tǒng)，需要解決包括延遲、數(shù)據(jù)一致性、并發(fā)處理等相關(guān)技術(shù)難題。本文將深入講解如何基于Spring Boot和WebSocket實(shí)現(xiàn)一個(gè)實(shí)時(shí)人臉檢測(cè)和識(shí)別系統(tǒng)，并結(jié)合具體代碼示例進(jìn)行講解。
基本需求和挑戰(zhàn)
- 實(shí)時(shí)檢測(cè)和識(shí)別需求
- 高實(shí)時(shí)性：視頻流中的人臉圖像需要被及時(shí)檢測(cè)和識(shí)別，并同步到客戶端。
- 高準(zhǔn)確性：檢測(cè)和識(shí)別算法需要具有高準(zhǔn)確率，減少誤識(shí)別和漏識(shí)別現(xiàn)象。
- 技術(shù)挑戰(zhàn)
系統(tǒng)延遲：在高并發(fā)訪問(wèn)下，需要保證檢測(cè)和識(shí)別的快速響應(yīng)，降低系統(tǒng)延遲。
數(shù)據(jù)一致性：在多客戶端并發(fā)訪問(wèn)和多個(gè)傳感器同時(shí)上傳數(shù)據(jù)時(shí)，確保數(shù)據(jù)一致性和同步。
擴(kuò)展性：系統(tǒng)需要具備良好的擴(kuò)展性，能夠處理不斷增加的數(shù)據(jù)量和訪問(wèn)量。
實(shí)現(xiàn)方案
1. 使用Spring Boot和WebSocket實(shí)現(xiàn)實(shí)時(shí)人臉檢測(cè)
依賴配置在項(xiàng)目的 pom.xml 文件中添加以下依賴，以支持Spring Boot和WebSocket：
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacpp</artifactId>
<version>1.5.5</version>
</dependency>
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacv-platform</artifactId>
<version>1.5.5</version>
</dependency>
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>dlib-platform</artifactId>
<version>19.21.1-1.5.5</version>
</dependency>
<dependency>
<groupId>net.sourceforge.tess4j</groupId>
<artifactId>tess4j</artifactId>
<version>4.5.3</version>
</dependency>WebSocket配置創(chuàng)建 WebSocketConfig 配置類，實(shí)現(xiàn) WebSocket 的配置：
import org.springframework.context.annotation.Configuration;
import org.springframework.web.socket.config.annotation.EnableWebSocket;
import org.springframework.web.socket.config.annotation.WebSocketConfigurer;
import org.springframework.web.socket.config.annotation.WebSocketHandlerRegistry;
@Configuration
@EnableWebSocket
public class WebSocketConfig implements WebSocketConfigurer {
@Override
public void registerWebSocketHandlers(WebSocketHandlerRegistry registry) {
// 注冊(cè)WebSocket處理器
registry.addHandler(new FaceDetectionHandler(), "/faceDetection")
.setAllowedOrigins("*"); // 允許所有域名的跨域請(qǐng)求
}
}視頻流處理使用 OpenCV 庫(kù)進(jìn)行視頻流處理和人臉檢測(cè)：
import org.opencv.core.Mat;
import org.opencv.core.Rect;
import org.opencv.core.Size;
import org.opencv.imgproc.Imgproc;
import org.opencv.objdetect.CascadeClassifier;
import org.opencv.videoio.VideoCapture;
import org.springframework.web.socket.TextMessage;
import org.springframework.web.socket.WebSocketSession;
import org.springframework.web.socket.handler.TextWebSocketHandler;
import java.io.ByteArrayInputStream;
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
public class FaceDetectionHandler extends TextWebSocketHandler {
private static final List<WebSocketSession> sessions = new ArrayList<>();
static {
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
}
@Override
public void afterConnectionEstablished(WebSocketSession session) throws Exception {
sessions.add(session); // 連接建立后添加會(huì)話
}
@Override
public void afterConnectionClosed(WebSocketSession session, CloseStatus status) throws Exception {
sessions.remove(session); // 連接關(guān)閉時(shí)移除會(huì)話
}
@Override
protected void handleTextMessage(WebSocketSession session, TextMessage message) throws Exception {
// 處理收到的消息并廣播給所有連接的會(huì)話
for (WebSocketSession webSocketSession : sessions) {
webSocketSession.sendMessage(message);
}
}
// 推送人臉檢測(cè)結(jié)果
public void sendFaceDetectionResult(String imageBase64) {
for (WebSocketSession session : sessions) {
try {
session.sendMessage(new TextMessage(imageBase64)); // 發(fā)送消息
} catch (IOException e) {
e.printStackTrace();
}
}
}
// 處理視頻流，檢測(cè)人臉
public void processVideoStream() {
VideoCapture camera = new VideoCapture(0);
if (!camera.isOpened()) {
System.out.println("Camera Error");
return;
}
CascadeClassifier faceDetector = new CascadeClassifier("haarcascade_frontalface_alt.xml");
Mat frame = new Mat();
while (camera.read(frame)) {
Mat frameGray = new Mat();
Imgproc.cvtColor(frame, frameGray, Imgproc.COLOR_BGR2GRAY);
Imgproc.equalizeHist(frameGray, frameGray);
Rect[] facesArray = faceDetector.detectMultiScale(frameGray);
for (Rect face : facesArray) {
Imgproc.rectangle(frame, face.tl(), face.br(), new Scalar(0, 255, 0), 3);
}
BufferedImage image = matToBufferedImage(frame);
String imageBase64 = imageToBase64(image);
sendFaceDetectionResult(imageBase64);
}
camera.release();
}
private BufferedImage matToBufferedImage(Mat mat) {
// Convert Mat to BufferedImage
MatOfByte mob = new MatOfByte();
Imgcodecs.imencode(".jpg", mat, mob);
byte[] byteArray = mob.toArray();
BufferedImage bufImage = null;
try {
bufImage = ImageIO.read(new ByteArrayInputStream(byteArray));
} catch (IOException e) {
e.printStackTrace();
}
return bufImage;
}
private String imageToBase64(BufferedImage image) {
// Convert BufferedImage to Base64 String
ByteArrayOutputStream baos = new ByteArrayOutputStream();
try {
ImageIO.write(image, "jpg", baos);
byte[] bytes = baos.toByteArray();
return Base64.getEncoder().encodeToString(bytes);
} catch (IOException e) {
e.printStackTrace();
}
return null;
}
}2. 結(jié)合視頻流實(shí)現(xiàn)實(shí)時(shí)人臉識(shí)別
在檢測(cè)到人臉后，通過(guò)人臉識(shí)別算法進(jìn)行識(shí)別，并返回識(shí)別結(jié)果：
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import redis.clients.jedis.Jedis;
@RestController
@RequestMapping("/api/face")
public class FaceRecognitionController {
@Autowired
private FaceDetectionHandler faceDetectionHandler; // 注入WebSocket消息處理器
private Jedis jedis = new Jedis("localhost");
@PostMapping("/recognize")
public void recognizeFace(@RequestBody FaceRecognitionRequest request) {
// 假設(shè)FaceRecognitionService進(jìn)行了人臉識(shí)別
String recognizedPerson = FaceRecognitionService.recognize(request.getImageBase64());
// 更新 Redis 中的識(shí)別結(jié)果
jedis.set("recognizedPerson", recognizedPerson);
// 通過(guò) WebSocket 推送識(shí)別結(jié)果
faceDetectionHandler.sendFaceRecognitionResult(recognizedPerson);
}
}FaceRecognitionService示例：
import org.bytedeco.dlib.*;
import org.bytedeco.dlib.global.dlib;
import org.bytecode.*;
import java.nio.file.*;
import java.util.*;
public class FaceRecognitionService {
private frontal_face_detector detector;
private shape_predictor sp;
private anet_type net;
private List<FaceProfile> knownFaces;
public FaceRecognitionService() {
detector = dlib.get_frontal_face_detector();
sp = new shape_predictor("shape_predictor_68_face_landmarks.dat");
net = new anet_type();
dlib.deserialize("dlib_face_recognition_resnet_model_v1.dat").to(net);
knownFaces = loadKnownFaces();
}
// 加載已知人臉數(shù)據(jù)
private List<FaceProfile> loadKnownFaces() {
List<FaceProfile> faces = new ArrayList<>();
// 讀取已知人臉圖像和特征
// 這里可以從數(shù)據(jù)庫(kù)或文件系統(tǒng)加載已知人臉數(shù)據(jù)
return faces;
}
// 識(shí)別人臉
public String recognize(String imageBase64) {
// 解碼Base64圖片
byte[] decodedBytes = Base64.getDecoder().decode(imageBase64);
Mat img = ImgCodecs.imdecode(new Mat(decodedBytes), ImgCodecs.IMREAD_COLOR);
// 檢測(cè)人臉
dlib.rectangles faces = detector.apply(img);
ArrayList<Matrix> faceDescriptors = new ArrayList<>();
for (rect face : faces) {
full_object_detection shape = sp.apply(img, face);
Matrix face_chip = new Matrix();
extract_image_chip.apply(img, get_face_chip_details.apply(shape, 150, 0.25) , face_chip);
faceDescriptors.add(net.apply(face_chip));
}
// 比對(duì)人臉
if (faceDescriptors.size() > 0) {
Matrix faceDescriptor = faceDescriptors.get(0);
String recognizedPerson = findBestMatch(faceDescriptor);
return recognizedPerson;
}
return "Unknown";
}
// 比對(duì)人臉特征，找到最佳匹配
private String findBestMatch(Matrix faceDescriptor) {
double minDistance = Double.MAX_VALUE;
String bestMatch = "Unknown";
for (FaceProfile knownFace : knownFaces) {
double distance = length(subtract(faceDescriptor, knownFace.getFaceDescriptor()));
if (distance < minDistance) {
minDistance = distance;
bestMatch = knownFace.getName();
}
}
return bestMatch;
}
}
class FaceProfile {
private String name;
private Matrix faceDescriptor;
public FaceProfile(String name, Matrix faceDescriptor) {
this.name = name;
this.faceDescriptor = faceDescriptor;
}
public String getName() {
return name;
}
public Matrix getFaceDescriptor() {
return faceDescriptor;
}
}3. 討論系統(tǒng)延遲和優(yōu)化策略
- 系統(tǒng)延遲問(wèn)題
- 視頻幀處理延遲：由于視頻幀處理需要完成面部檢測(cè)和識(shí)別，可能會(huì)導(dǎo)致延遲。
- 網(wǎng)絡(luò)傳輸延遲：視頻流數(shù)據(jù)和識(shí)別結(jié)果需要通過(guò)網(wǎng)絡(luò)進(jìn)行傳輸，傳輸過(guò)程中的網(wǎng)絡(luò)波動(dòng)可能導(dǎo)致延遲。
- 優(yōu)化策略
硬件加速：利用GPU進(jìn)行視頻幀和人臉檢測(cè)、識(shí)別計(jì)算，提高計(jì)算速度，降低處理延遲。
改進(jìn)算法效率：優(yōu)化圖像處理和人臉識(shí)別算法，減少單幀處理時(shí)間。
并行處理：引入多線程并行處理技術(shù)，如將檢測(cè)與識(shí)別步驟分離，獨(dú)立處理不同視頻流幀。
視頻編碼優(yōu)化：利用高效的視頻編碼技術(shù)，減少視頻傳輸數(shù)據(jù)量，降低網(wǎng)絡(luò)傳輸時(shí)間。
前端 WebSocket 客戶端實(shí)現(xiàn)
在前端實(shí)現(xiàn) WebSocket 客戶端，以接收和展示實(shí)時(shí)檢測(cè)與識(shí)別的結(jié)果。
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>實(shí)時(shí)人臉檢測(cè)和識(shí)別</title>
</head>
<body>
<h1>實(shí)時(shí)人臉檢測(cè)和識(shí)別結(jié)果</h1>
<div id="video-container">
<img id="video-frame" src="" alt="Video Frame">
<p id="recognition-result"></p>
</div>
<script>
// 初始化WebSocket連接
const socket = new WebSocket('ws://localhost:8080/faceDetection');
socket.onopen = function(event) {
console.log("WebSocket connection established!");
};
socket.onmessage = function(event) {
// 解析WebSocket消息
const message = JSON.parse(event.data);
if (message.type === 'detection') {
// 更新視頻幀
document.getElementById('video-frame').src = 'data:image/jpeg;base64,' + message.data;
} else if (message.type === 'recognition') {
// 更新識(shí)別結(jié)果
document.getElementById('recognition-result').innerText = '識(shí)別結(jié)果: ' + message.data;
}
};
socket.onclose = function(event) {
console.log("WebSocket connection closed.");
};
</script>
</body>
</html>這個(gè)前端頁(yè)面展示了一個(gè)簡(jiǎn)單的實(shí)時(shí)視頻流容器，以及一個(gè)顯示人臉識(shí)別結(jié)果的文本框。WebSocket 客戶端接收到服務(wù)器推送的檢測(cè)結(jié)果和識(shí)別結(jié)果，并進(jìn)行展示。
完整代碼結(jié)構(gòu)
以下是一個(gè)完整的項(xiàng)目結(jié)構(gòu)，供大家參考：
com.example.facedetection
├───config
| └───WebSocketConfig.java
├───controller
| └───FaceRecognitionController.java
├───handler
| └───FaceDetectionHandler.java
├───service
| └───FaceRecognitionService.java
├───FaceDetectionApplication.java
├───resources
| └───application.properties
└───static
└───index.html總結(jié)
本文首先介紹了實(shí)時(shí)人臉檢測(cè)和識(shí)別系統(tǒng)的基本需求和技術(shù)挑戰(zhàn)。接著，通過(guò)Spring Boot和WebSocket技術(shù)實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的實(shí)時(shí)人臉檢測(cè)與識(shí)別系統(tǒng)，并結(jié)合代碼示例詳細(xì)講解了實(shí)現(xiàn)過(guò)程。
這個(gè)系統(tǒng)在實(shí)際應(yīng)用中還需要進(jìn)一步優(yōu)化和擴(kuò)展，包括提升檢測(cè)和識(shí)別精度、降低系統(tǒng)延遲、實(shí)現(xiàn)分布式部署等。相信大家通過(guò)本文的學(xué)習(xí)，對(duì)實(shí)現(xiàn)一個(gè)實(shí)時(shí)人臉檢測(cè)和識(shí)別系統(tǒng)有了更深入的理解和掌握。
責(zé)任編輯：武曉燕
來(lái)源：
路條編程
