DeepSeek 協(xié)程異步API 調(diào)用與llamafactory本地vllm部署推理
簡介使用協(xié)程調(diào)用DeepSeek的API,發(fā)現(xiàn)效果并不明顯,沒有加速的效果。但如是本地部署DeepSeek,本地部署需要支持異步調(diào)用,我使用llamafactory部署,發(fā)現(xiàn)協(xié)程加速的效果還是很顯著的。代碼實戰(zhàn)調(diào)用官方APIDeepSeek官方文檔https:apidocs.deepseek.comzhcnpython的調(diào)用代碼如下,該調(diào)用方式為同步調(diào)用速度很慢。PleaseinstallOpenAISDKfirst:pip3installopenaifromopenaiimportOpenAIclientOpenAI(apikey"<DeepSeekAPIKey>",base...