4月17日,OpenVINO?2025.1版正式發(fā)布了。我們嘗個(gè)鮮,利用OpenVINO在英特爾哪吒開發(fā)套件上部署deepseekr1distillQwen7b模型。一、在邊緣終端部署本地大模型的好處邊緣終端,如樹莓派和英特爾哪吒開發(fā)套件,通常具有較低的功耗和成本,同時(shí)具備一定的計(jì)算能力。在這些設(shè)備上部署DeepSeekR1大模型,可以帶來(lái)以下好處:1.降低云端依賴邊緣終端的本地化部署減少了對(duì)云端服務(wù)的依賴,使得設(shè)備能夠在離線或網(wǎng)絡(luò)不穩(wěn)定的情況下獨(dú)立運(yùn)...
3天前 457瀏覽 0點(diǎn)贊 0回復(fù) 0收藏
一、創(chuàng)作背景目前大多數(shù)的智能體應(yīng)用都是圍繞娛樂,更多的是一種新鮮事物的嘗鮮,比如做海報(bào)圖片、寫廣告文案、角色聊天。這主要是考慮到現(xiàn)有大模型的能力邊界,只能做一些用戶容錯(cuò)性比較大的場(chǎng)景。但我覺得大模型的能力在不斷提升,特別是Qwen2.5已經(jīng)突破了原先的一些能力限制,所以我想有必要去打破和探索一下基于Qwen的智能體的能力邊界,做一些在真實(shí)經(jīng)濟(jì)生活中有真實(shí)業(yè)務(wù)需求的應(yīng)用,而不僅僅是個(gè)人“找個(gè)樂子”。所以,雖...
2025-01-15 23:20:09 2116瀏覽 1點(diǎn)贊 2回復(fù) 1收藏