2024 年重要成就

社區(qū)建設與生態(tài)發(fā)展

2024 年，vLLM 建立起了一個充滿活力的開源社區(qū)。目前已有超過 15 位全職貢獻者來自 6個以上的組織，20 多家機構(gòu)作為核心利益相關(guān)方和贊助商，包括加州伯克利大學、 Neural Magic 、Anyscale 等頂級機構(gòu)。雙周例會的良好運作促進了社區(qū)透明度提升和戰(zhàn)略合作的達成。

全面的模型支持

從年初僅支持少數(shù)模型，到年末已能支持近 100 種模型架構(gòu)，覆蓋幾乎所有主流開源大語言模型、多模態(tài)模型（圖像、音頻、視頻）、編碼器-解碼器模型等。特別值得一提的是，vLLM 開創(chuàng)性地為狀態(tài)空間語言模型提供了生產(chǎn)級支持。

硬件兼容性突破

vLLM 實現(xiàn)了對主流 AI 硬件的全面支持：

• NVIDIA 系列：從 V100 到H100 的全系列 GPU
• AMD 產(chǎn)品線：MI200 、MI300 和Radeon RX 7900 系列
• 云服務商硬件：Google TPU 、AWS Inferentia/Trainium
• 其他平臺：Intel Gaudi 、多種架構(gòu) CPU 等

核心特性持續(xù)創(chuàng)新

2024 年，vLLM 推出了多項重要功能升級：

• 權(quán)重和激活量化：支持多種量化方法，提升推理效率
• 自動前綴緩存：降低上下文處理成本
• 分塊預填充：提升交互應用的穩(wěn)定性
• 推測解碼：通過并行預測加速生成
• 結(jié)構(gòu)化輸出：支持 JSON 等特定格式輸出
• 分布式推理：實現(xiàn)跨 GPU 和節(jié)點的工作負載擴展

2025年發(fā)展愿景

模型能力升級

2025 年，vLLM 的核心目標是在單個 GPU 上實現(xiàn) GPT-4 級別的性能，并在單個節(jié)點上支持更大規(guī)模模型的部署。為此，團隊將重點優(yōu)化以下方面：

• KV 緩存和注意力機制優(yōu)化
• 混合專家系統(tǒng)（MoE）優(yōu)化
• 擴展長上下文支持

生產(chǎn)級部署支持擴展

隨著 LLM 成為現(xiàn)代應用的核心，vLLM 計劃為生產(chǎn)環(huán)境提供更完善的支持：

• 量化、緩存等優(yōu)化功能將成為默認配置
• 提供完整的集群級解決方案
• 針對不同場景優(yōu)化的部署方案

開放架構(gòu)

vLLM 將推出全新的 V1 架構(gòu)，突出開放性和可擴展性：

• 可插拔架構(gòu)設計
• 一流的 torch.compile 支持
• 靈活的組件系統(tǒng)

小結(jié)

大浪淘沙，vLLM成功的在大模型領域競爭中脫穎而出。vLLM 正在從一個簡單的推理引擎，發(fā)展成為連接模型開發(fā)者、硬件供應商和應用開發(fā)者的開放平臺。同時，vLLM不忘初心，重申使命：構(gòu)建世界上最快、最容易使用的開源LLM推理和服務引擎。

期待2025年vLLM的表現(xiàn)，同時也希望有更多新的框架和工具誕生，加速AI推理的發(fā)展。

原文：https://blog.vllm.ai/2025/01/10/vllm-2024-wrapped-2025-vision.html

本文轉(zhuǎn)載自??AI工程化??，作者： ully ????