最近的一個大新聞是Meta AI推出了新的開源授權的大型語言模型Llama 2。這是一項非常重要的進展：

Llama 2可免費用于研究和商業(yè)用途。

(幾小時前，swyy發(fā)現它已從LLaMA 2更名為Llama 2）。

Facebook最初的LLaMA模型于今年2月發(fā)布，掀起了開源LLM領域的創(chuàng)新浪潮——從微調變體到從零開始的再創(chuàng)造。

只有一個限制：用戶不能將它用于商業(yè)目的。

Llama 2的出現改變了這一點！

它仍然有一些有趣的限制，重點是：

用戶不得使用Llama材料或Llama材料的任何輸出或結果來改進任何其他大型語言模型（不包括Llama 2或其衍生作品）。

如果在Llama 2版本發(fā)布之日，由被許可人或被許可人的附屬機構提供的產品或服務的月活躍用戶在前一個日歷月超過7億，則必須向Meta申請許可，Meta可自行決定是否授予許可。

這使得它仍然可以適用于大多數商業(yè)用途。接下來跟隨本文試一試。

使用LLM訪問Llama 2

LLM工具可以通過命令行訪問各種語言模型，既可以通過網絡應用程序接口訪問，也可以在自己的機器上自行托管。

添加插件支持以擴展它對新模型的支持。現在，一個獨立發(fā)布的插件可以為現有的CLI工具添加對新模型的支持。

全新的llm-replicate插件提供了對Replicate上托管的模型的CLI訪問，a16z-infra發(fā)布了a16z-infra/llama13b-v2-chat，該插件提供了對新的Llama 2 13B聊天模型的Replicate API訪問。

需要一個Replicate API密鑰。

使用如下命令安裝LLM：

pip install llm

如果沒有安裝pip，但可以使用Homebrew：

brew install simonw/llm/llm

運行l(wèi)lm--version確認已安裝成功。

接下來，安裝llm-replicate插件：

llm install llm-replicate

該插件添加了一組新的llm replicate命令——可以使用llm --help查看。

配置Replicate API密鑰，以便插件能與API通信：

llm keys set replicate
Enter key: <paste key here>

在插件中注冊新的a16z-infra/llama13b-v2-chat模型：

llm replicate add a16z-infra/llama13b-v2-chat \
  --chat --alias llama2

這就告訴插件它是一個“chat”模型，這意味著用戶可以與它進行持續(xù)對話，而不僅僅是發(fā)送單個提示。

現在，可以使用在這里配置的llama2別名發(fā)送提示信息：

llm -m llama2 "Ten great names for a pet pelican"

得到的輸出如下所示：

當然！以下是十個適合作為寵物鵜鶘的好名字：

1. 花生（Peanut）：一個可愛而活潑的小鵜鶘的名字。
2. 水洼（Puddles）：一個有趣而傻氣的名字，適用于喜歡在水中嬉戲的鵜鶘。
3. 皮特（Pete）：一個經典的名字，適合友好外向的鵜鶘。
4. 彭洛麗（Penelope）：一個漂亮而優(yōu)雅的名字，適合雌性鵜鶘。
5. 佩西（Percy）：一個迷人而精致的名字，適合雄性鵜鶘。
6. 皮皮（Pippy）：一個活潑而親愛的名字，適合個性活躍的鵜鶘。
7. 佩爾蒂（Pelty）：一個有趣而古怪的名字，適合個性獨特的鵜鶘。
8. 皮普（Pip）：一個甜美而討人喜歡的名字，適合小鵜鶘。
9. 勇敢（Plucky）：一個勇敢而冒險的名字，適合個性鮮明的鵜鶘。
10. 波比（Poppy）：一個可愛而嬌嫩的名字，適合性情溫和的雌性鵜鶘。

希望這些建議能幫助你為寵物鵜鶘找到一個完美的名字！

由于是聊天模型，可以在同一對話中發(fā)送后續(xù)提示：

llm -c "Five more and make them more nautical"

Ahoy！這里有五個更具海洋氣息的名字，適合你的寵物鵜鶘：

1. 海鳥（Seabird）：適合喜歡海洋及其奇觀的鵜鶘的名字。
2. 船長胡克（Captain Hook）：適合勇敢無畏的鵜鶘的英勇名字。
3. 錨（Anchor）：適合始終穩(wěn)定可靠的鵜鶘的堅固名字。
4. 芬利（Finley）：適合熱愛海洋及其生物的鵜鶘的有關魚的名字。
5. 輕快（Buoyant）：適合心情輕松愉快的鵜鶘的活潑愉快名字。

希望這些建議能讓你滿意，伙計！

LLM會將通過它發(fā)送的每個提示和響應記錄到SQLite數據庫中。在這里使用--truncate來縮短輸出，將輸出截斷以便在本文中顯示：

llm logs --truncate

[
  {
    "id": "01h5n5b3q6s54e03wtvqe90w2g",
    "model": "replicate-a16z-infra-llama13b-v2-chat",
    "prompt": "Five more and make them more nautical",
    "system": null,
    "response": "Ahoy matey! Here be five more nautical-themed names for yer pet pelican:\n\n1. Captain Hook\n2. Anch...",
    "response_json": null,
    "conversation_id": "01h5n5atsqfg4bhxc53j3ymnx2",
    "duration_ms": 7364,
    "datetime_utc": "2023-07-18T18:48:51.999944",
    "conversation_name": "Ten great names for a pet pelic\u2026",
    "conversation_model": "replicate-a16z-infra-llama13b-v2-chat"
  },
  {
    "id": "01h5n5atss6k9zsr5qs5hb2wzd",
    "model": "replicate-a16z-infra-llama13b-v2-chat",
    "prompt": "Ten great names for a pet pelican",
    "system": null,
    "response": "Sure, here are ten great names for a pet pelican:\n\n1. Pelty\n2. Peanut\n3. Puddles\n4. Nibbles\n5. Fu...",
    "response_json": null,
    "conversation_id": "01h5n5atsqfg4bhxc53j3ymnx2",
    "duration_ms": 7873,
    "datetime_utc": "2023-07-18T18:48:42.356413",
    "conversation_name": "Ten great names for a pet pelic\u2026",
    "conversation_model": "replicate-a16z-infra-llama13b-v2-chat"
  }
]

或運行l(wèi)lm logs path命令查看SQLite數據庫文件的路徑。如果已經安裝了Datasette，可以使用以下命令打開日志數據庫：

datasette "$(llm logs path)"

或使用Datasette Desktop：

open "$(llm logs path)"

結語

對Llama 2感到非常興奮。預計隨著模型權重的逐步推出，用戶將開始看到在其基礎上的各種創(chuàng)新。

特別期待以下內容：

• 微調模型。Alpaca、Vicuna等人在原始LLaMA模型的基礎上進行微調，取得了驚人的成就。預計在接下來的幾周內，我們將看到數十個微調模型。
• 實現reAct和Toolformer模式，這將使Llama 2能夠以類似于OpenAI Functions的方式驅動外部工具。Llama 2的論文已經提到了針對Toolformer提示的測試，因此希望這不會太困難。

希望能記錄什么類型的提示語能與Llama 2效果良好地配合使用，因為預計這一模型在未來一段時間內將成為生態(tài)系統(tǒng)中頗具影響力的一部分。