一、引言

OpenAI發(fā)布的草莓o1模型為評估大語言模型（LLMs）在規(guī)劃和調(diào)度基準上的進展提供了新的機會，但是它的規(guī)劃能力到底怎么樣呢？近期，規(guī)劃領域泰斗Subbarao Kambhampati教授領銜的論文對其進行了研究，旨在全面評估o1在既定規(guī)劃和調(diào)度基準上的性能，并展示如何通過將大型推理模型（Large Reasoning Model, LRM）嵌入到帶有可靠驗證器的循環(huán)中，為其輸出提供正確性保證并提高性能。

Subbarao Kambhampati一直是經(jīng)典AI的代表人物，在規(guī)劃領域造詣很深。熟悉他的讀者一定知道，Subbarao Kambhampati對大語言模型一直持保守態(tài)度。關于Subbarao Kambhampati教授的工作，我們前兩天曾經(jīng)報道過哦！感興趣的讀者可以參考《啥？！AAAI前主席Subbarao Kambhampati告訴你：大模型不能planning！》

本文評估了兩種大型推理模型（LRM）o1-preview和o1-mini在規(guī)劃和調(diào)度基準上的能力。結果表明，o1在某些方面優(yōu)于基于自回歸的大語言模型（LLMs），但推理成本較高，且無法保證生成結果的正確性。通過將o1模型與外部驗證器結合，可以保證組合系統(tǒng)輸出的正確性，同時進一步提高性能。

二、背景和相關工作

（一）規(guī)劃領域

LLM在規(guī)劃任務上表現(xiàn)出一定的局限性，即使在簡單的領域也可能失敗。本文關注經(jīng)典規(guī)劃問題，使用PlanBench基準測試，并在Blocksworld和Mystery Blocksworld等領域進行測試。

（二）調(diào)度領域

調(diào)度問題主要圍繞資源分配，本文在Natural Plan、TravelPlanner和graph coloring等調(diào)度基準上評估o1，這些基準涵蓋了旅行規(guī)劃、日歷調(diào)度和會議規(guī)劃等多個方面。

表1：不同系列的大型語言模型在Blocksworld和Mystery Blocksworld領域的600個實例上的性能，使用了零次提示和一次提示。同類最佳準確率用粗體顯示。

三、從近似檢索到近似推理

（一）o1的架構

o1結合了底層的LLM和類似System 2的能力，可能經(jīng)過強化學習預訓練和自適應推理過程，使其在本質(zhì)上與之前的LLM有很大不同。

（二）規(guī)劃能力評估

1. PlanBench測試

• 在原始600實例PlanBench測試集上，o1-preview在Blocksworld實例中正確回答率高達97.8%，遠超LLM，但在Mystery Blocksworld上性能有所下降。
• 隨著問題規(guī)模增加，性能會快速下降，在110個更難的Blocksworld問題上，o1-preview僅能達到23.63%的準確率。
• 在識別不可解問題方面，o1雖然有一定能力，但仍存在誤判情況，有時會錯誤地聲稱可解問題不可解，或者為不可解問題提供錯誤的計劃。

2. 擴展到更難的領域

• 在Sokoban領域，o1-preview和o1-mini分別能正確回答12.7%和10.9%的實例，而Llama3.1 - 405B在這些實例上全部答錯。

圖1：這些示例是關于Mystery Blocksworld的。Fast Downward是一種與領域無關的規(guī)劃器，它能近乎即時地解決所有給定實例，并保證完美的準確性。大語言模型（LLMs）即使在最小的實例上也很困難。測試的兩種大型推理模型（LRMs），o1 - preview和o1 - mini，效果驚人，但這種性能仍然不夠穩(wěn)健，并且會隨著長度的增加而迅速下降。

（三）調(diào)度能力評估

1. Graph Coloring

• o1-mini在原始220個圖著色問題上解決了96%，超過了GPT - 4的16%。在擴展的更難的圖著色測試集上，o1-mini解決了50%，o1-preview解決了64%。

2. Travel Planning

• 在TravelPlanner的180個實例驗證集中，o1-preview解決了10%的實例，略高于GPT - 4 - turbo的4.4%，o1-mini解決了1.67%的實例。

3. Natural Plan

• 在Natural Plan的三個領域中，o1-mini在日歷調(diào)度領域解決了94%的實例，但在旅行規(guī)劃和會議規(guī)劃領域表現(xiàn)不佳。

表2：OpenAI的o1系列大型推理模型和Fast Downward（F.D.）在Blocksworld、Mystery Blocksworld和Randomized Mystery Blocksworld領域的600個實例以及Logistics和Randomized Logistics領域的200個實例上的性能和平均耗時

四、準確性/成本權衡和保證

（一）成本比較

LRM的成本顯著高于LLM，o1-preview和o1-mini每100個實例的成本分別為和3.69，而一些LLM每100個實例的成本在到1.80之間。

（二）權衡分析

雖然o1-preview在準確性上可能高于LLM，但它無法提供正確性保證，且成本效益不明確。相比之下，古典規(guī)劃器如Fast Downward在成本、時間和保證正確性方面具有優(yōu)勢，而LLM - Modulo系統(tǒng)可以在較低成本下提供保證的解決方案。

五、LRM - Modulo提升o1并提供保證

（一）方法介紹

本文提出通過外部驗證器增強o1，將其集成到LRM - Modulo系統(tǒng)中，以提高整體性能并提供輸出保證。

（二）實驗結果

在五個最難的測試集上進行測試，結果表明即使迭代次數(shù)有限，性能也有顯著提升。例如，在更難的Blocksworld問題上，o1-preview結合系統(tǒng)的準確率達到98.2%，在Sokoban領域從12.7%提升到43.6%。

六、結論

本文評估了o1-preview和o1-mini在規(guī)劃和調(diào)度基準上的性能。o1在一些方面取得了進展，但在處理長問題和確定問題可解性方面存在不足。同時討論了準確性和效率的權衡，并展示了LRM - Modulo方法可應用于LRM以提高性能和提供保證。未來的評估需要關注這些因素，以保持其意義和相關性。

本文轉(zhuǎn)載自公眾號AIGC最前線   作者：實習小畢?

原文鏈接：??https://mp.weixin.qq.com/s/HjAkw-0SUUH0WccBDgbr_g???