Instructor是一個用于處理大型語言模型（LLMs）結構化輸出的庫，基于Pydantic構建，支持多種LLM。

• 主要功能包括驗證、重試管理、流式響應等。
• 主要目的是簡化與LLM交互時的結構化輸出處理，避免手動解析文本帶來的麻煩。

優(yōu)點：

• 通過 Pydantic 模型定義輸出結構，直接映射 LLM 的響應到類型安全的 Python 對象。例如，從自然語言中提取用戶信息時，只需定義??User(name: str, age: int)?? 模型，即可自動解析并驗證結果
• 支持 OpenAI、Anthropic、Cohere、Google AI、Llama.cpp 等多種模型后端，且與 Litellm 等平臺兼容，支持編程語言（如 TypeScript、Go）適應不同技術棧
• 利用 Pydantic 的驗證功能確保輸出符合預期，同時內置重試邏輯（如 Tenacity），在模型響應不達標時自動重試請求，提高可靠性
• 支持流式處理部分響應和列表數(shù)據(jù)，適用于實時場景（如逐詞生成），并提供異步接口（??async/await??）以優(yōu)化性能
• 通過??instructor.from_openai()?? 等函數(shù)無縫集成到現(xiàn)有 OpenAI SDK 代碼，僅需添加??response_model?? 參數(shù)即可啟用結構化輸出，無需重構
• 提供 CLI 工具管理微調任務、文件上傳和使用監(jiān)控，并支持鉤子系統(tǒng)攔截 LLM 交互日志，便于調試

缺點：

• 對Pydantic的依賴可能帶來一定的學習成本。
• 底層解析過程封裝較深，某些情況下錯誤信息可能不夠直觀，增加調試難度
• 部分 LLM 提供商（如 Ollama）可能需要額外配置，且版本更新可能引入兼容性問題

Instructor與outlines、lm-format-enforcer的區(qū)別 

如何選擇這兩款工具呢？

• Instructor：

a.需要從已有文本或自由生成結果中提取結構化數(shù)據(jù)，更適合后處理。

b.希望快速集成到 OpenAI 等云服務，且不想管理本地模型。

c.熟悉 Pydantic 并偏好靜態(tài)類型校驗。

from pydantic import BaseModel
import instructor
from openai import OpenAI

client = instructor.from_openai(OpenAI())

class User(BaseModel):
    name: str
    age: int

# 調用 LLM 并直接解析為 User 對象
user = client.chat.completions.create(
    model="gpt-3.5-turbo",
    response_model=User,
    messages=[{"role": "user", "content": "小明今年25歲"}]
)

print(user.name)

• Outlines：

a.需要生成嚴格格式的文本（如 API 請求、代碼）。

b.使用本地模型（如 Llama、Mistral）且能接受復雜約束定義。

c.追求生成階段的確定性，避免無效輸出的重試開銷。

from outlines import models, generate, samplers
import torch

model = models.transformers("gpt2", device="cpu")
prompt = "生成用戶信息JSON："
schema = '''{
  "name": string,
  "age": int
}'''

# 動態(tài)約束生成
generator = generate.json(model, schema)
result = generator(prompt, sampler=samplers.greedy())
print(result)  # 直接輸出符合 schema 的 JSON

• lm-format-enforcer與Outlines比較類似：

a.需要生成嚴格符合語法（如 JSON、代碼）的文本。

b.使用本地模型（如 Llama、Mistral）且追求生成效率。

c.能接受較高的集成復雜度（需直接操作模型和約束定義）。

from lm_format_enforcer import JsonSchemaParser
from transformers import pipeline

# 定義 JSON Schema 約束
schema = {
    "type": "object",
    "properties": {
        "name": {"type": "string"},
        "age": {"type": "integer"}
    }
}

# 初始化模型和格式解析器
model = pipeline('text-generation', model='gpt2')
parser = JsonSchemaParser(schema)

# 生成時強制符合約束
output = model(
    "生成用戶信息JSON：",
    prefix=parser.get_initial_prompt(),  # 注入格式約束
    max_new_tokens=100,
    format_enforcer=parser
)
print(output[0]['generated_text'])  # 輸出直接符合 schema 的 JSON

??https://python.useinstructor.com/??

??https://github.com/instructor-ai/instructor??

本文轉載自??CourseAI??，作者：CourseAI