11 月 16 日消息，微軟 Ignite 2023 大會(huì)已于今天拉開帷幕，英偉達(dá)高管出席本次大會(huì)并宣布更新 TensorRT-LLM，添加了對(duì) OpenAI Chat API 的支持。

IT之家今年 10 月報(bào)道，英偉達(dá)面向數(shù)據(jù)中心和 Windows PC，推出 Tensor RT-LLM 開源庫。最大的特點(diǎn)是，如果 Windows PC 配備英偉達(dá) GeForce RTX GPU，TensorRT-LLM 可以讓 LLM 在 Windows PC 上的運(yùn)行速度提高四倍。

英偉達(dá)在今天 Ignite 2023 大會(huì)上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，并增強(qiáng) DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。

TensorRT-LLM 可以通過英偉達(dá)的 AI Workbench 在本地完成，開發(fā)者可以使用這個(gè)統(tǒng)一、易用的工具包，在 PC 或工作站上快速創(chuàng)建、測(cè)試和定制預(yù)訓(xùn)練的生成式 AI 模型和 LLM。英偉達(dá)還為此推出了搶先體驗(yàn)注冊(cè)頁面。

英偉達(dá)將于本月晚些時(shí)候發(fā)布 TensorRT-LLM 0.6.0 版本更新，推理性能提高 5 倍，并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。

用戶可以在 8GB 顯存以上的  GeForce RTX 30 系列和 40 系列 GPU 上運(yùn)行，一些便攜式 Windows 設(shè)備也能使用快速、準(zhǔn)確的本地 LLM 功能。