$ curl http://localhost:11434
Ollama is running

ollama pull deepseek-r1:1.5b
ollama pull nomic-embed-text:latest

docker run -d --name pgvector17 \
  -e POSTGRES_USER=pgvector \
  -e POSTGRES_PASSWORD=pgvector \
  -e POSTGRES_DB=llm-test \
  -v pgvector_data:/var/lib/postgresql/data \
  -p 5432:5432 \
  pgvector/pgvector:pg17

func loadAndSplitWebContent(url string) ([]schema.Document, error) {
 // 發(fā)送HTTP GET請(qǐng)求獲取網(wǎng)頁(yè)內(nèi)容
 resp, err := http.Get(url)
 if err != nil {
  return nil, err
 }
 defer resp.Body.Close()

 // 使用goquery解析HTML文檔
 doc, err := goquery.NewDocumentFromReader(resp.Body)
 if err != nil {
  return nil, err
 }

 var content strings.Builder

 // 移除script和style標(biāo)簽，避免抓取無(wú)關(guān)內(nèi)容
 doc.Find("script,style").Remove()
 // 提取body中的所有文本內(nèi)容
 doc.Find("body").Each(func(i int, s *goquery.Selection) {
  text := strings.TrimSpace(s.Text())
  if text != "" {
   content.WriteString(text)
   content.WriteString("\n")
  }
 })

 // ......
}

func loadAndSplitWebContent(url string) ([]schema.Document, error) {
 // ......

 // 將文本分割成多個(gè)塊，設(shè)置塊大小為512字符，無(wú)重疊
 splitter := textsplitter.NewRecursiveCharacter(
  textsplitter.WithChunkSize(512),
  textsplitter.WithChunkOverlap(0),
 )
 chunks, err := splitter.SplitText(content.String())
 if err != nil {
  return nil, err
 }

 // 為每個(gè)文本塊創(chuàng)建Document對(duì)象，包含元數(shù)據(jù)
 documents := make([]schema.Document, 0)
 for i, chunk := range chunks {
  documents = append(documents, schema.Document{
   PageContent: chunk,
   Metadata: map[string]any{
    "source": url,                  // 記錄文本來(lái)源URL
    "chunk":  fmt.Sprintf("%d", i), // 記錄塊的序號(hào)
   },
  })
 }
 return documents, nil
}

const (
 // DefaultOllamaServer 默認(rèn)的Ollama服務(wù)器地址
 DefaultOllamaServer = "http://localhost:11434"
 // DefaultEmbeddingModel 用于生成文本向量的默認(rèn)模型
 DefaultEmbeddingModel = "nomic-embed-text:latest"
)

func initEmbedder() (embeddings.Embedder, error) {
 embedModel, err := ollama.New(
  ollama.WithServerURL(DefaultOllamaServer),
  ollama.WithModel(DefaultEmbeddingModel),
 )
 if err != nil {
  return nil, fmt.Errorf("創(chuàng)建embedding模型失敗: %v", err)
 }

 embedder, err := embeddings.NewEmbedder(embedModel)
 if err != nil {
  return nil, fmt.Errorf("初始化embedding模型失敗: %v", err)
 }
 return embedder, nil
}

const (
 // DefaultPGVectorURL PostgreSQL向量數(shù)據(jù)庫(kù)的連接URL
 DefaultPGVectorURL = "postgres://pgvector:pgvector@localhost:5432/llm-test?sslmode=disable"
)

func initVectorStore(embedder embeddings.Embedder) (vectorstores.VectorStore, error) {
 store, err := pgvector.New(
  context.Background(),
  pgvector.WithConnectionURL(DefaultPGVectorURL),
  pgvector.WithEmbedder(embedder), // 綁定向量模型
  pgvector.WithCollectionName(uuid.NewString()),
 )
 if err != nil {
  return nil, fmt.Errorf("初始化向量存儲(chǔ)失敗: %v", err)
 }
 return &store, nil
}

func addDocumentsToStore(store vectorstores.VectorStore, allDocs []schema.Document) {
 // 設(shè)置批處理大小，避免一次處理太多文檔
 batchSize := 10
 totalDocs := len(allDocs)
 processedDocs := 0

 // 分批處理所有文檔
 for i := 0; i < totalDocs; i += batchSize {
  end := i + batchSize
  if end > totalDocs {
   end = totalDocs
  }

  batch := allDocs[i:end]
  // 將文檔添加到向量存儲(chǔ)
  _, err := store.AddDocuments(context.Background(), batch)
  if err != nil {
   fmt.Printf("\n添加文檔到向量存儲(chǔ)失敗: %v\n", err)
   continue
  }

  processedDocs += len(batch)
  progress := float64(processedDocs) / float64(totalDocs) * 100
  fmt.Printf("\r正在添加文檔到向量存儲(chǔ): %.1f%% (%d/%d)", progress, processedDocs, totalDocs)
 }
 fmt.Printf("\n成功加載 %d 個(gè)文檔片段到向量存儲(chǔ)\n", totalDocs)
}

const (
 // DefaultOllamaServer 默認(rèn)的Ollama服務(wù)器地址
 DefaultOllamaServer = "http://localhost:11434"
 // DefaultLLMModel 用于生成回答的默認(rèn)大語(yǔ)言模型
 DefaultLLMModel = "deepseek-r1:1.5b"
)

func initLLM() (llms.Model, error) {
 llm, err := ollama.New(
  ollama.WithServerURL(DefaultOllamaServer),
  ollama.WithModel(DefaultLLMModel),
 )
 if err != nil {
  return nil, fmt.Errorf("初始化LLM失敗: %v", err)
 }
 return llm, nil
}

func handleQuestion(store vectorstores.VectorStore, llm llms.Model, question string) {
 // 在向量數(shù)據(jù)庫(kù)中搜索相關(guān)文檔
 // 參數(shù)：最多返回5個(gè)結(jié)果，相似度閾值0.7
 results, err := store.SimilaritySearch(
  context.Background(),
  question,
  5,
  vectorstores.WithScoreThreshold(0.7),
 )
 if err != nil {
  fmt.Printf("搜索相關(guān)文檔失敗: %v\n", err)
  return
 }

 if len(results) == 0 {
  fmt.Println("\n未找到相關(guān)的參考信息，請(qǐng)換個(gè)問(wèn)題試試。")
  return
 }

 // 顯示檢索到的文檔
 displaySearchResults(results)
 // 將相關(guān)文檔作為上下文提供給大語(yǔ)言模型并生成問(wèn)題的回答
 generateAnswer(llm, question, results)
}

func generateAnswer(llm llms.Model, question string, results []schema.Document) {
 var references strings.Builder
 for i, doc := range results {
  score := 1 - doc.Score
  references.WriteString(fmt.Sprintf("%d. [相似度：%f] %s\n", i+1, score, doc.PageContent))
 }

 messages := []llms.MessageContent{
  {
   // 系統(tǒng)提示，設(shè)置助手角色和行為規(guī)則
   Role: llms.ChatMessageTypeSystem,
   Parts: []llms.ContentPart{
    llms.TextContent{
     Text: fmt.Sprintf(
      "你是一個(gè)專業(yè)的知識(shí)庫(kù)問(wèn)答助手。以下是基于向量相似度檢索到的相關(guān)文檔：\n\n%s\n"+
       "請(qǐng)基于以上參考信息回答用戶問(wèn)題?；卮饡r(shí)請(qǐng)注意：\n"+
       "1. 優(yōu)先使用相關(guān)度更高的參考信息\n"+
       "2. 如果參考信息不足以完整回答問(wèn)題，請(qǐng)明確指出",
      references.String(),
     ),
    },
   },
  },
  {
   // 用戶問(wèn)題
   Role: llms.ChatMessageTypeHuman,
   Parts: []llms.ContentPart{
    llms.TextContent{
     Text: question,
    },
   },
  },
 }

 fmt.Printf("生成回答中...\n\n")

 _, err := llm.GenerateContent(
  context.Background(),
  messages,
  llms.WithTemperature(0.8), // 設(shè)置溫度為0.8，增加回答的多樣性
  llms.WithStreamingFunc(func(ctx context.Context, chunk []byte) error {
   fmt.Print(string(chunk))
   return nil
  }),
 )
 if err != nil {
  fmt.Printf("生成回答失敗: %v\n", err)
  return
 }

 fmt.Println()
}