Hello folks，我是 Luga，今天我們來聊一下人工智能(AI)生態(tài)領(lǐng)域相關(guān)的技術(shù) - GPT-4o 模型 。

在 2024 年 5 月 13 日，OpenAI 創(chuàng)新性地推出了其最先進、最前沿的模型 GPT-4o，這是標志著人工智能聊天機器人和大型語言模型領(lǐng)域?qū)崿F(xiàn)重大飛躍的突破性舉措。預示著人工智能能力的新時代 ，GPT-4o 擁有顯著的性能增強，在速度和多功能性方面都超越了其前身 GPT-4。

這一突破性的進步解決了經(jīng)常困擾其前身的延遲問題，確保了無縫且響應迅速的用戶體驗。

什么是 GPT-4o ?

在2024年5月13日，OpenAI 發(fā)布了其最新、最先進的人工智能模型 GPT-4o，其中的"o"代表"omni"，意為"所有"或"通用"。這款模型是基于 GPT-4 Turbo 構(gòu)建的新一代大語言模型。與之前的模型相比，GPT-4o 在輸出速度、回答質(zhì)量和支持的語言種類等方面有了顯著的提升，并且在處理輸入數(shù)據(jù)的方式上進行了革命性的創(chuàng)新。

GPT-4o 模型最值得關(guān)注的創(chuàng)新之處在于放棄了前代模型使用獨立神經(jīng)網(wǎng)絡(luò)處理不同類型輸入數(shù)據(jù)的做法，而是采用了單一統(tǒng)一的神經(jīng)網(wǎng)絡(luò)來處理所有輸入。這一創(chuàng)新設(shè)計賦予了 GPT-4o 前所未有的多模態(tài)融合能力。

傳統(tǒng)的語言模型通常只能處理純文本輸入，無法處理語音、圖像等非文本數(shù)據(jù)。然而，GPT-4o 不同尋常，它能夠同時檢測和解析語音輸入中的背景噪音、多重聲源、情感色彩等非文本信號，并將這些多模態(tài)信息融合到語義理解和生成過程中，從而產(chǎn)生更豐富、更符合上下文的輸出內(nèi)容。

除了處理多模態(tài)輸入，GPT-4o 在生成多語種輸出時也展現(xiàn)出了出色的能力。它不僅在英語等主流語言上輸出質(zhì)量更高、語法更正確、表述更簡潔，而且對于非英語的其他語種場景輸出，GPT-4o 也能保持同樣的水準。這確保了無論是英語用戶還是其他語種用戶，都能享受到 GPT-4o 卓越的自然語言生成能力。

總的來說，GPT-4o 的最大亮點在于突破了單一模態(tài)的局限，實現(xiàn)了跨模態(tài)的綜合理解和生成能力。借助創(chuàng)新的神經(jīng)網(wǎng)絡(luò)架構(gòu)和訓練機制，GPT-4o 不僅能夠從多種感官通道獲取信息，還能在生成時融會貫通，產(chǎn)生與上下文高度貼合、更加人性化的響應。

GPT-4o 與 GPT-4 Turbo 性能表現(xiàn)?

GPT-4o 作為 OpenAI 最新推出的多模態(tài)大模型，其性能與前代 GPT-4 Turbo 相比，具有質(zhì)的飛躍。這里，我們可以從如下個關(guān)鍵方面對兩者進行對比分析：

1.推理速度

根據(jù) OpenAI 公布的數(shù)據(jù)，在相同硬件條件下，GPT-4o 的推理速度是 GPT-4 Turbo 的兩倍。這種顯著的性能提升主要歸功于其創(chuàng)新的單一模型架構(gòu)，避免了模態(tài)切換所帶來的效率損失。單一模型架構(gòu)不僅簡化了計算流程，還大幅減少了資源開銷，從而使得 GPT-4o 能夠更快速地處理請求。更高的推理速度意味著 GPT-4o 可以以更低的延遲為用戶提供響應，顯著提升了交互體驗。無論是在實時對話、復雜任務(wù)處理，還是在高并發(fā)環(huán)境下的應用中，用戶都能感受到更加流暢和即時的服務(wù)響應。這種性能優(yōu)化不僅提高了系統(tǒng)的整體效率，還為各種應用場景提供了更可靠和高效的支持。

GPT-4o 與 GPT-4 Turbo 延遲對比

2.吞吐量

眾所周知，早期的 GPT 模型在吞吐量方面表現(xiàn)有點滯后。例如，最新的 GPT-4 Turbo 每秒只能生成 20 個令牌。然而，GPT-4o 在這方面取得了重大突破，每秒能夠生成 109 個令牌。這一改進使得 GPT-4o 在處理速度上有了顯著提升，為各種應用場景提供了更高的效率。

盡管如此，GPT-4o 依然不是速度最快的模型。以在 Groq 上托管的 Llama 為例，它每秒可以生成 280 個令牌，遠超 GPT-4o。然而，GPT-4o 的優(yōu)勢不僅僅在于速度。其先進的功能和推理能力使其在實時 AI 應用中脫穎而出。GPT-4o 的單一模型架構(gòu)和優(yōu)化算法不僅提升了計算效率，還顯著降低了響應時間，使其在交互體驗上具有獨特的優(yōu)勢。

GPT-4o 與 GPT-4 Turbo 吞吐量對比

不同場景下的對比分析

通常而言，GPT-4o 和 GPT-4 Turbo 在處理不同類型任務(wù)時，由于架構(gòu)和模態(tài)融合能力的差異性使得表現(xiàn)也存在明顯區(qū)別。這里，我們主要從數(shù)據(jù)提取、分類以及推理等3個代表性任務(wù)類型來具體分析兩者之間的差異。

1.數(shù)據(jù)提取

在文本數(shù)據(jù)提取任務(wù)上，GPT-4 Turbo 依賴其強大的自然語言理解能力可以取得不錯的表現(xiàn)。但當遇到包含圖像、表格等非結(jié)構(gòu)化數(shù)據(jù)的場景時，其能力便顯得有些捉襟見肘。

相比之下，GPT-4o 能夠無縫融合不同模態(tài)的數(shù)據(jù)，無論是在結(jié)構(gòu)化的文本中，還是圖像、PDF 等非結(jié)構(gòu)化數(shù)據(jù)里，都可以高效地識別和提取所需信息。這一優(yōu)勢使得 GPT-4o 在處理復雜混合數(shù)據(jù)時更具競爭力。

這里，我們以某司的合同場景為例，數(shù)據(jù)集包括公司與客戶之間的主服務(wù)協(xié)議(MSA)。合同的長度各不相同，有些短至5頁，有些長于50頁。

在本次評估中，我們將提取總共12個字段，如合同標題、客戶名稱、供應商名稱、終止條款的詳細信息、是否存在不可抗力等。通過對10份合同的真實數(shù)據(jù)收集，并使用設(shè)置了 12 個自定義評估指標。這些指標用于將我們的真實數(shù)據(jù)與模型生成的 JSON 中的每個參數(shù)的 LLM 輸出進行比較。隨后，我們對 GPT-4 Turbo 和 GPT-4o 進行了測試，以下是我們的評估報告結(jié)果：

針對每個 Prompt 所對應的12個指標評估結(jié)果

在上述的對比結(jié)果中，我們可以得出：在這12個字段中，GPT-4o 在6個字段上表現(xiàn)優(yōu)于 GPT-4 Turbo，在5個字段上結(jié)果相同，而在1個字段上表現(xiàn)略有下降。

從絕對角度來看，GPT-4 和 GPT-4o 在大多數(shù)領(lǐng)域僅正確識別了60-80%的數(shù)據(jù)。在需要高準確性的復雜數(shù)據(jù)提取任務(wù)中，這兩種模型的表現(xiàn)都未達到標準。通過使用先進的提示技術(shù)，如幾發(fā)提示或鏈式思維提示，可以獲得更好的結(jié)果。

此外，GPT-4o 在 TTFT(第一個令牌的生成時間)上比 GPT-4 Turbo 快50-80%，這使得 GPT-4o 在直接比較中占據(jù)優(yōu)勢。最終結(jié)論是，GPT-4o 由于其更高的質(zhì)量和更低的延遲表現(xiàn)優(yōu)于 GPT-4 Turbo。

2.分類

分類任務(wù)往往需要從文本、圖像等多模態(tài)信息中提取特征，再進行語義級別的理解和判斷。在這一點上，由于 GPT-4 Turbo 受限于只能處理單一文本模態(tài)，分類能力相對有限。

而 GPT-4o 則可以將多模態(tài)信息融合，形成更加全面的語義表征，從而在文本分類、圖像分類、情感分析等領(lǐng)域展現(xiàn)出卓越的分類能力，尤其是在一些高難度的跨模態(tài)分類場景中。

在我們的提示中，我們提供了客戶票何時關(guān)閉的明確說明，并添加了幾個示例，以幫助解決最困難的案例。

通過運行評估，以測試模型的輸出是否與100個標記測試用例的地面真值數(shù)據(jù)相匹配，以下是相關(guān)結(jié)果：

分類分析評估參考

GPT-4o 無疑展現(xiàn)出了壓倒性的優(yōu)勢。通過一系列針對各類復雜任務(wù)的測試和對比，我們可以看到，GPT-4o 在整體精確度上均遠超其他競品模型，從而令它成為諸多應用領(lǐng)域中不二的首選之作。

然而，傾向于 GPT-4o 作為通用解決方案的同時，我們也需要謹記，選擇最佳 AI 模型并非一蹴而就的決策過程。畢竟，AI 模型的表現(xiàn)往往取決于具體的應用場景及對精度、召回率和時間效率等不同指標的權(quán)衡偏好。

3.推理

推理是人工智能系統(tǒng)的一項高階認知能力，需要模型從給定的前提條件中推導出合理的結(jié)論。這對于邏輯推理、問答推理等任務(wù)都至關(guān)重要。

GPT-4 Turbo 在文本推理任務(wù)上已經(jīng)表現(xiàn)出色，但遇到需要多模態(tài)信息融合的情況時，其能力就受到了一定限制。

而 GPT-4o 則不存在這一局限。它能夠自如地融合文本、圖像、語音等多種模態(tài)的語義信息，在此基礎(chǔ)上進行更加復雜的邏輯推理、因果推理和歸納推理，從而賦予人工智能系統(tǒng)更加"人性化"的推理判斷能力。

還是基于上述場景，我們來看一下兩者在推理層面的對比，具體可參考如下所示：

16個推理任務(wù)的評估參考

根據(jù)對 GPT-4o 模型的示例測試，我們可以觀察到它在以下推理任務(wù)中表現(xiàn)越來越出色，具體如下：

• 日歷計算：GPT-4o 能夠準確識別特定日期的重復時間，這意味著它可以處理與日期相關(guān)的計算和推理。
• 時間和角度計算：GPT-4o 能夠精確計算時鐘上的角度，這在處理時鐘和角度相關(guān)問題時非常有用。
• 詞匯(反義詞識別)：GPT-4o 能夠有效地識別反義詞并理解單詞的含義，這對于語義理解和詞匯推理非常重要。

盡管 GPT-4o 在某些推理任務(wù)中表現(xiàn)越來越好，但在單詞操作、模式識別、類比推理和空間推理等任務(wù)中仍面臨挑戰(zhàn)。未來的改進和優(yōu)化可能會進一步提高該模型在這些領(lǐng)域的性能。

綜上所述，基于速率限制高達每分鐘1000萬 token 的 GPT-4o，是 GPT-4 的整整 5倍。這一振奮人心的性能指標無疑將加速人工智能在諸多密集計算場景中的普及，尤其是在實時視頻分析、智能語音交互等領(lǐng)域，GPT-4o 的高并發(fā)響應能力將顯現(xiàn)出無可匹敵的優(yōu)勢。

而 GPT-4o 最閃耀的創(chuàng)新所在，當屬其無縫整合了文本、圖像、語音等多模態(tài)輸入輸出的革命性設(shè)計。通過單一神經(jīng)網(wǎng)絡(luò)直接融合處理各模態(tài)數(shù)據(jù)，GPT-4o 從根本上解決了以往模型間切換的割裂體驗，為構(gòu)建統(tǒng)一的 AI 應用程序鋪平了道路。

實現(xiàn)了模態(tài)融合后，GPT-4o 在應用場景上將擁有前所未有的廣闊前景。無論是結(jié)合計算機視覺技術(shù)打造智能影像分析工具、與語音識別框架無縫集成創(chuàng)建多模態(tài)虛擬助手，還是基于文本圖像雙模態(tài)生成高保真圖文廣告，一切曾經(jīng)只能通過整合獨立子模型所完成的任務(wù)，在GPT-4o的大智能驅(qū)動下，將擁有全新的統(tǒng)一高效的解決方案。

Reference ：

• [1] https://openai.com/index/hello-gpt-4o/?ref=blog.roboflow.com
• [2] https://blog.roboflow.com/gpt-4-vision/
• [3] https://www.vellum.ai/blog/analysis-gpt-4o-vs-gpt-4-turbo#task1