# CONTEXT
得物的開放平臺是一個包含著 API 文檔，解決方案文檔的平臺，商家可以通過這個平臺獲取到得物的各種接口，以及解決方案，幫助商家更好的使用得物的服務(wù)?，F(xiàn)在需要做一個智能答疑助手，你是其中的一部分。


# OBJECTIVE
你現(xiàn)在扮演一名客服。請將每個客戶問題分類到固定的類別中。
你只接受有關(guān)開放平臺接口的相關(guān)問答，不接受其余任何問題。
具體的類別我會在提供給你的JSON Schema中進(jìn)行說明。


# STYLE


你需要把你的回答以特定的 JSON 格式返回


# TONE


你給我的內(nèi)容里，只能包含特定 JSON 結(jié)構(gòu)的數(shù)據(jù)，不可以返回給我任何額外的信息。


# AUDIENCE


你的回答是給機(jī)器看的，所以不需要考慮任何人類的感受。


# RESPONSE


你返回的數(shù)據(jù)結(jié)構(gòu)必須符合我提供的 JSON Schema 規(guī)范，我給你的 Schema 將會使用\`<json-schema></json-schema>\`標(biāo)簽包裹.
每個字段的描述，都是你推算出該字段值的依據(jù)，請仔細(xì)閱讀。


<json-schema>
  {schema}
</json-schema>

const zApiCallMeta = z
  .object({
    type: z
      .enum(['api_call'， 'unknown', 'general'])
      .describe('當(dāng)前問題的二級類目, api_call為API調(diào)用類問題，unknown為非開放平臺相關(guān)問題, general為通用類開放平臺問題'),
    apiName: z
      .string()
      .describe(
        '接口的名稱。接口名稱為中文，若用戶未給出明確的API中文名稱，不要隨意推測，將當(dāng)前字段置為空字符串',
      ),
    apiUrl: z.string().describe('接口的具體路徑, 一般以/開頭'),
    requestParam: z.unknown().default({}).describe('接口的請求參數(shù)'),
    response: z
      .object({})
      .or(z.null())
      .default({})
      .describe('接口的返回值，若未提供則返回null'),
    error: z
      .object({
        traceId: z.string(),
      })
      .optional()
      .describe('接口調(diào)用的錯誤信息，若接口調(diào)用失敗，則提取traceId并返回'),
  })
  .describe('當(dāng)二級類目為api_call時，使用這個數(shù)據(jù)結(jié)構(gòu)');

import { ChatOpenAI } from '@langchain/openai';
import { StringOutputParser } from '@langchain/core/output_parsers';
import { RunnableSequence, RunnableMap } from '@langchain/core/runnables';
import { $getPrompt } from './$prompt';
import { zSchema, StructuredInputType } from './schema';
import { n } from 'src/utils/llm/gen-runnable-name';
import { getLLMConfig } from 'src/utils/llm/get-llm-config';
import { getStringifiedJsonSchema } from 'src/utils/llm/get-stringified-json-schema';


const b = n('$structured-input');


const $getStructuredInput = () => {
  const $model = new ChatOpenAI(getLLMConfig().ChatOpenAIConfig).bind({
    response_format: {
      type: 'json_object',
    },
  });


  const $input = RunnableMap.from<{ question: string }>({
    schema: () => getStringifiedJsonSchema(zSchema),
    question: (input) => input.question,
  }).bind({ runName: b('map') });


  const $prompt = $getPrompt();
  const $parser = new StringOutputParser();


  return RunnableSequence.from<{ question: string }, string>([
    $input.bind({ runName: b('map') }),
    $prompt.bind({ runName: b('prompt') }),
    $model,
    $parser.bind({ runName: b('parser') }),
  ]).bind({
    runName: b('chain'),
  });
};


export { $getStructuredInput, type StructuredInputType };

import dotenv from 'dotenv';
dotenv.config();
import { describe, expect, it } from 'vitest';
import { zSchema } from '../runnables/$structured-input/schema';
import { $getStructuredInput } from '../runnables/$structured-input';


const call = async (question: string) => {
  return zSchema.safeParse(
    JSON.parse(await $getStructuredInput().invoke({ question })),
  );
};


describe('The LLM should accept user input as string, and output as structured data', () => {
  it('should return correct type', { timeout: 10 * 10000 }, async () => {
    const r1 = await call('今天天氣怎么樣');
    expect(r1.data?.type).toBe('unknown');
    const r2 = await call('1 + 1');
    expect(r2.data?.type).toBe('unknown');
    const r3 = await call('trace: 1231231231231231313');
    expect(r3.data?.type).toBe('api_call');
    const r4 = await call('快遞面單提示錯誤');
    expect(r4.data?.type).toBe('api_call');
    const r5 = await call('發(fā)貨接口是哪個');
    expect(r5.data?.type).toBe('api_call');
    const r6 = await call('怎么發(fā)貨');
    expect(r6.data?.type).toBe('general');
    const r7 = await call('獲取商品詳情');
    expect(r7.data?.type).toBe('api_call');
    const r8 = await call('dop/api/v1/invoice/cancel_pick_up');
    expect(r8.data?.type).toBe('api_call');
    const r9 = await call('開票處理');
    expect(r9.data?.type).toBe('api_call');
    const r10 = await call('權(quán)限包');
    expect(r10.data?.type).toBe('api_call');
  });

const hbsTemplate = `
---
服務(wù)ID (serviceId): {{ service.id }}
接口ID (apiId): {{ apiId }}
接口名稱 (apiName): {{ apiName }}
接口地址 (apiUrl): {{ apiUrl }}
頁面地址 (pageUrl): {{ pageUrl }}
---


# {{ title }}


{{ paragraph }}
`;
export const processIntoEmbeddings = (data: CombinedApiDoc) => {
  const template = baseTemplate(data);


  const texts = [
    template(requestHeader(data)),
    template(requestUrl(data)),
    template(publicRequestParam(data)),
    template(requestParam(data)),
    template(responseParam(data)),
    template(errorCodes(data)),
    template(authPackage(data)),
  ].filter(Boolean) as string[][];


  return flattenDeep(texts).map((content) => {
    return new Document<MetaData>({
      // id: toString(data.apiId!),
      metadata: {
        serviceId: data.service.id,
        apiId: data.apiId!,
        apiName: data.apiName!,
        apiUrl: data.apiUrl!,
        pageUrl: data.pageUrl!,
      },
      pageContent: content!,
    });
  });
};

## Context
我是一名正在尋找酒店信息的旅行者，計劃在即將到來的假期前往某個城市。我希望了解關(guān)于酒店的設(shè)施、價格和預(yù)訂流程等信息。


## Objective
請?zhí)峁┪宜璧木频晷畔?，包括房間類型、價格范圍、可用設(shè)施以及如何進(jìn)行預(yù)訂。


## Style
請以簡潔明了的方式回答，確保信息易于理解。


## Tone
使用友好和熱情的語氣，給人一種歡迎的感覺。


## Audience
目標(biāo)受眾是普通旅行者，他們可能對酒店行業(yè)不太熟悉。


## Response
請以列表形式呈現(xiàn)每個酒店的信息，包括名稱、地址、房間類型、價格和聯(lián)系方式。每個酒店的信息應(yīng)簡短且直接，便于快速瀏覽。

import { Milvus } from '@langchain/community/vectorstores/milvus';
import { OpenAIEmbeddings } from '@langchain/openai';
import { RunnableSequence } from '@langchain/core/runnables';
import { getLLMConfig } from 'src/utils/llm/get-llm-config';


export const $getContext = async () => {
  const embeddings = new OpenAIEmbeddings(
    getLLMConfig().OpenAIEmbeddingsConfig,
  );


  const vectorStore = await Milvus.fromExistingCollection(embeddings, {
    collectionName: 'open_rag',
  });


  return RunnableSequence.from([
    (input) => {
      return input.question;
    },
    vectorStore.asRetriever(5),
  ]);
};

import { RunnablePassthrough, RunnablePick } from '@langchain/core/runnables';
import { Document } from 'langchain/document';
import { PromptTemplate } from '@langchain/core/prompts';
import { MetaData } from 'src/types';


const $formatRetrieverOutput = async (documents: Document<MetaData>[]) => {
  const strings = documents.map(async (o) => {
    const a = await PromptTemplate.fromTemplate(`{pageContent}`).format({
      pageContent: o.pageContent,
    });


    return a;
  });


  const context = (await Promise.all(strings)).join('\n');


  return context;
};


export const $contextAssignRunnable = () => {
  return RunnablePassthrough.assign({
    context: new RunnablePick('context').pipe($formatRetrieverOutput),
  });
};

export const promptTemplateMarkdown = () => {
  return `
# CONTEXT


得物的開放平臺是一個包含著 API 文檔，解決方案文檔的平臺，商家可以通過這個平臺獲取到得物的各種接口，以及解決方案，幫助商家更好的使用得物的服務(wù)。
現(xiàn)在得物開放平臺的人工答疑率相當(dāng)高，原因可能是文檔的信息藏的較深，我希望做一個人工智能答疑助手，通過分析開放平臺的各種文檔，來回答用戶的問題，最終讓用戶不進(jìn)入人工答疑階段。
我們只討論[開放平臺接口]的相關(guān)問題,不要談及其他內(nèi)容。


# OBJECTIVE
你需要根據(jù)用戶的輸入，以及提供的得物開放平臺的文檔上下文，進(jìn)行答疑。
你只接受有關(guān)[開放平臺接口]的相關(guān)問答，不接受其余任何問題。


## 關(guān)于用戶的輸入：


1. 你會得到一份符合 JSONSchema 結(jié)構(gòu)的結(jié)構(gòu)化數(shù)據(jù)，這份數(shù)據(jù)我會使用\`<structured-input></structured-input>\`包裹。
   這份結(jié)構(gòu)化數(shù)據(jù)是通過實(shí)際的用戶提問進(jìn)行了二次分析而得出的。結(jié)構(gòu)化數(shù)據(jù)里也會包含用戶的最初始的問題供你參考（最初始的問題會放在 question 字段里）


## 關(guān)于上下文


1.  我已經(jīng)提前準(zhǔn)備好了你需要參考的資料，作為你回答問題的上下文，上下文是由許多篇 Markdown 文檔組成的。這些 Markdown 的文檔大標(biāo)題代表了這個片段的模塊名，例如 \`# 接口入?yún)`就代表這部分是文檔的接口入?yún)⒉糠郑?\`# 接口返回\`就代表這部分是文檔的接口返回部分，
2.  上下文中的主要信息部分我會使用 Markdown Table 的結(jié)構(gòu)提供給你。
3.  每個上下文的開頭，我都會給你一些關(guān)于這份上下文的元信息（使用 FrontMatter 結(jié)構(gòu)），這個元信息代表了這份文檔的基礎(chǔ)信息，例如文檔的頁面地址，接口的名稱等等。


以下是我提供的結(jié)構(gòu)化輸入，我會使用\`<structured-input></structured-input>\`標(biāo)簽做包裹
<structured-input>
{structuredInput}
</structured-input>


以下是我為你提供的參考資料，我會使用\`<context></context>\`標(biāo)簽包裹起來：
<context>
{context}
</context>


# STYLE


你需要把你的回答以特定的 JSON 格式返回


# TONE


你是一個人工智能答疑助手，你的回答需要溫柔甜美，但又不失嚴(yán)謹(jǐn)。對用戶充滿了敬畏之心，服務(wù)態(tài)度要好。在你回答問題之前，需要簡單介紹一下自己，例如“您好，很高興為您服務(wù)。已經(jīng)收到您的問題?！?

# AUDIENCE


你的用戶是得物開放平臺的開發(fā)者們，他們是你要服務(wù)的對象。


# RESPONSE


你返回的數(shù)據(jù)結(jié)構(gòu)必須符合我提供的 JSON Schema 規(guī)范，我給你的 Schema 將會使用\`<structured-output-schema></structured-output-schema>\`標(biāo)簽包裹.


<structured-output-schema>
  {strcuturedOutputSchema}
</structured-output-schema>
`;
};

import { z } from 'zod';


const zOutputSchema = z
  .object({
    question: z
      .string()
      .describe(
        '提煉后的用戶提問。此處的問題指的是除去用戶提供的接口信息外的問題。盡量多的引用用戶的提問',
      ),
    introduction: z
      .string()
      .describe('開放平臺智能答疑助手對用戶的問候以及自我介紹'),
    answer: z
      .array(z.string())
      .describe(
        '開放平臺智能答疑助手的回答，需將問題按步驟拆分，形成數(shù)組結(jié)構(gòu)，回答拆分盡量步驟越少越好。如果回答的問題涉及到具體的頁面地址引用，則將頁面地址放在relatedUrl字段里。不需要在answer里給出具體的頁面地址',
      ),
    relatedUrl: z
      .array(z.string())
      .describe(
        '頁面的鏈接地址，取自上下文的pageUrl字段，若涉及多個文檔，則給出所有的pageUrl，若沒有pageUrl，則不要返回',
      )
      .optional(),
  })
  .required({
    question: true,
    introduction: true,
    answer: true,
  });


type OpenRagOutputType = z.infer<typeof zOutputSchema>;


export { zOutputSchema, type OpenRagOutputType };

import { ChatOpenAI } from '@langchain/openai';
import { $getPrompt } from './prompt/index';
import { JsonOutputParser } from '@langchain/core/output_parsers';
import { RunnableSequence, RunnableMap } from '@langchain/core/runnables';
import { zOutputSchema } from './schema';
import { $getContext } from './retriever/index';
import { getLLMConfig } from 'src/utils/llm/get-llm-config';
import { getStringifiedJsonSchema } from 'src/utils/llm/get-stringified-json-schema';
import { n } from 'src/utils/llm/gen-runnable-name';


const b = n('$open-rag');


type OpenRagInput = {
  structuredInput: string;
  question: string;
};


const $getOpenRag = async () => {
  const $model = new ChatOpenAI(getLLMConfig().ChatOpenAIConfig).bind({
    response_format: {
      type: 'json_object',
    },
  });


  const chain = RunnableSequence.from([
    RunnableMap.from<OpenRagInput>({
      // 問答上下文
      context: await $getContext(),
      // 結(jié)構(gòu)化輸入
      structuredInput: (input) => input.structuredInput,
      // 用戶提問
      question: (input) => input.question,
      // 輸出結(jié)構(gòu)
      strcuturedOutputSchema: () => getStringifiedJsonSchema(zOutputSchema),
    }).bind({ runName: b('runnable-map') }),
    $getPrompt().bind({ runName: b('prompt') }),
    $model,
    new JsonOutputParser(),
  ]).bind({ runName: b('chain') });


  return chain;
};


export { $getOpenRag };

const structure = safeJsonParse<StructuredInputType>(
  await $getStructuredInput().invoke({ question }),
  null,
)
const mainChain = RunnableSequence.from<{ question: string }, OpenRagOutputType>([
  RunnablePassthrough.assign({
    structuredInput: () => structure,
  }),
  await $getOpenRag(),
]);
const response = await mainChain.invoke({
  question: question,
});

{
  "question": "正式環(huán)境調(diào)用：直發(fā)訂單獲取打印面單v2【品牌直發(fā)/眾籌直發(fā)/拍賣直發(fā)】接口返回報錯（https://openapi.dewu.com/dop/api/v2/order/brand_deliver/express_sheet）。請求參數(shù)：{\"order_no\":\"110152014363632294\",\"app_key\":\"953a43bec40943c98a5cdbc63333242f;\",\"sign\":\"AD968ED6A359D144B61F1FEF6BB380ED\",\"timestamp\":1720430064169}"
}

{
  "question": "我的問題是：正式環(huán)境調(diào)用：直發(fā)訂單獲取打印面單v2【品牌直發(fā)/眾籌直發(fā)/拍賣直發(fā)】接口返回報錯。",
  "introduction": "您好，很高興為您服務(wù)。已經(jīng)收到您的問題。",
  "answer": [
    "根據(jù)您提供的請求參數(shù)信息，出現(xiàn)錯誤可能是由于接口調(diào)用參數(shù)不正確導(dǎo)致的，接下來我們一步步排查問題。",
    "首先，您提供的請求參數(shù)中的訂單號為\"110152014363632294\"，請確認(rèn)該訂單號的狀態(tài)是否為待物流攬收或待買家收貨狀態(tài)。",
    "其次，檢查您所使用的app_key是否正確，確保該app_key授權(quán)了調(diào)用該接口的權(quán)限。",
    "再次，請確認(rèn)傳入的簽名（sign）是否正確，可能需要重新生成簽名以保證準(zhǔn)確性。",
    "最后，檢查時間戳（timestamp）是否正確，并且處于合理的時間范圍內(nèi)。",
    "如果以上步驟都沒有解決問題，建議您查看詳細(xì)的接口文檔以進(jìn)一步調(diào)試和解決問題。"
  ],
  "relatedUrl": [
    "https://open.dewu.com/#/api?apiId=1174"
  ]
}