01、概述在日常生活和工作中，你是否常因嘈雜的環(huán)境、重疊的對話或音視頻信號的混雜而感到溝通困難？無論是個人電話、專業(yè)會議還是內(nèi)容創(chuàng)作，這些問題都在困擾著我們。雖然音頻技術(shù)日新月異，但許多現(xiàn)有方案在復(fù)雜場景中仍難以提供穩(wěn)定且高質(zhì)量的音頻體驗。因此，市場急需一套能夠應(yīng)對這些挑戰(zhàn)并適應(yīng)現(xiàn)代應(yīng)用需求的語音處理框架，例如虛擬助手、視頻會議和創(chuàng)意媒體制作。清晰之聲，重塑溝通體驗為了解決這些痛點，阿里巴巴語音...

編輯伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）AMD的旗艦AIGPU加速器，被曝軟件存在大量bug，幾乎無法用于訓(xùn)練AI模型？！這事挺讓人意外的，因為它可是AMD用來阻擊霸主英偉達(dá)的一張王牌。去年12月，AMD在自家的“AdvancingAI”活動中，首次宣布推出了MI300X，其性能比英偉達(dá)的H100足足高出60%！圖片一年過去了，已經(jīng)投產(chǎn)的AMDMI300X是否真有當(dāng)時宣傳的那么強勁？技術(shù)分析公司SemiAnalysis發(fā)了一份真實、詳盡的報告，感覺太打臉...

01、概述隨著人工智能（AI）在我們?nèi)粘Ｉ钪兄饾u普及，它的應(yīng)用領(lǐng)域也越來越廣泛。然而，在這一進(jìn)程中，我們也面臨著一些技術(shù)障礙，尤其是在多模態(tài)理解（MultimodalUnderstanding）方面。多模態(tài)理解是指AI能夠同時處理和分析來自文本、語音、圖像等多種輸入形式的能力。盡管如今許多AI模型在這些領(lǐng)域取得了顯著進(jìn)展，但它們依然存在一些亟待解決的問題，如計算資源需求龐大、延遲高、能效低以及數(shù)據(jù)隱私問題。尤其是依賴云端的...

01、概述在AI技術(shù)不斷發(fā)展的今天，代碼檢索這一領(lǐng)域迎來了新的突破。由VoyageAI團隊推出的Voyagecode3，作為一款專為代碼檢索任務(wù)設(shè)計的嵌入模型，不僅表現(xiàn)卓越，還大幅超越了當(dāng)前的行業(yè)標(biāo)桿，如OpenAIv3large和CodeSagelarge。這一進(jìn)展不僅重新定義了代碼檢索技術(shù)的潛力，也為廣大開發(fā)者帶來了全新的解決方案。Voyagecode3的亮眼表現(xiàn)在代碼檢索任務(wù)中，Voyagecode3無疑是一個耀眼的明星。研究顯示，這款模型在238個代碼檢索數(shù)...

“我們要學(xué)會使用第三方的大模型平臺，而不是什么都從0開始”大模型從出現(xiàn)以來，其巨大的成本問題一直都是壓在很多企業(yè)頭上的一座山；但大模型作為一項基礎(chǔ)設(shè)施，理論上應(yīng)該和現(xiàn)有的基礎(chǔ)設(shè)施相結(jié)合，比如說云計算平臺。根據(jù)云計算的思想，除了實現(xiàn)快速部署遷移以及龐大的網(wǎng)絡(luò)洪峰之外；其次最重要的一點就是提升資源的利用率；比如對很多公司來說，流量洪峰主要都集中在某些時間段，大部分時間的流量都比較平穩(wěn)。因此，如果按照...

1.Token在繼續(xù)前行之前，需要先停下來澄清下Token這個詞，以及如何將原始的語料轉(zhuǎn)化為Token，在細(xì)究背后的原理之后會更加優(yōu)雅的理解大模型。任何的資訊都可以生成語料，而這些語料需要被機器理解以及供后續(xù)的模型訓(xùn)練，那么最常見的做法是將一段文字先切片，然后一一對應(yīng)的轉(zhuǎn)化為數(shù)字或者向量輸入模型。通常而言有三種類型的分詞法：基于單詞、字符以及子詞的分詞法。單詞和字符這里就不解釋，字詞法運用得最為廣泛，也是最為主...

大家好，我是劉聰NLP。沒錯，是的，對的，很棒，千問！QWQ之后，千問團隊又開源了視覺推理大模型QVQ，是72B的呦。圣誕快樂，如期而至！HF:https:huggingface.coQwenQVQ72BPreview為啥是72B，可想而知，這個QVQ就是基于前一段時間開源的Qwen2VL72B模型上進(jìn)一步訓(xùn)練得來的。有個7B的為啥沒出QVQ7B，估計是參數(shù)來太少，做o1式推理效果不行，QWQ也是32B起步的，所以模型參數(shù)量很關(guān)鍵。在榜單上的效果，QVQ在MMMU是突破了70，并且整...

1.為什么要提出RARE問答（QA，QuestionAnswering）系統(tǒng)的目的以自然語言提出的問題生成答案，其涵蓋的領(lǐng)域和類型極為廣泛，從開放領(lǐng)域的QA到更為專業(yè)的領(lǐng)域，比如醫(yī)療QA。醫(yī)療QA要求模型能夠掌握復(fù)雜的醫(yī)學(xué)知識、解讀臨床場景，并選出正確且符合上下文的選項。和多數(shù)專業(yè)領(lǐng)域的QA類似，醫(yī)療QA也需要結(jié)構(gòu)化的多步驟推理，從一系列連續(xù)的步驟中推理出答案。比如，依據(jù)患者信息給出恰當(dāng)?shù)某跏贾委煼桨?，模型首先要識別患者的狀況，...

一、背景在之前的多篇文章中，我們曾零星提到過GPU利用率以及GPU異常引發(fā)的大規(guī)模任務(wù)失敗問題。在本文中，我們將對這些內(nèi)容進(jìn)行更為系統(tǒng)的匯總，具體介紹常見的GPU監(jiān)控指標(biāo)及各種GPU異常情況。為了更好地說明問題，我們還將結(jié)合我們自己的實踐經(jīng)驗以及其他相關(guān)論文中的案例進(jìn)行分析和討論。二、引言2.1MFU&HFU為了評估LLM訓(xùn)練時的效率，業(yè)界通常會使用ModelFLOPSUtilization（MFU）和HardwareFLOPSUtilization（HFU）兩個關(guān)鍵...

大模型領(lǐng)域的發(fā)展日新月異，每天都有許多有趣的論文值得深入品讀。下面是本期的論文：1、為什么Transformer難以學(xué)會搜索？一項新研究揭示關(guān)鍵原因圖片搜索是許多重要任務(wù)（如推理、規(guī)劃和導(dǎo)航）的核心能力，但最新研究表明，Transformer架構(gòu)的大模型在搜索任務(wù)上表現(xiàn)不佳。那么，這是數(shù)據(jù)不足、模型參數(shù)不夠，還是Transformer架構(gòu)本身的限制？為探究這一問題，研究者采用了一個基礎(chǔ)的圖連通性問題作為測試平臺，深入分析Transfo...

一、O3究竟是什么？1.名稱由來為避免版權(quán)糾紛，OpenAI放棄了o2的命名，直接將其稱為o3。圖片2.編程能力在編程領(lǐng)域，o3取得了驚人的成績。在人類在線編程競技平臺codeforces上，o3模型的Elo得分達(dá)到2727分，排名第175位。在168076名全球參賽程序員中，o3擊敗了99.9%的程序員，超越了此前的GPT4o和o1等模型。這意味著o3在編程競技中已達(dá)到頂尖水平，甚至超越了許多大廠中眾多程序員的實力。要知道，字節(jié)跳動、騰訊、阿里等大廠都...

還在為大模型推理速度慢、成本高而煩惱嗎？這篇來自CMU和清華大學(xué)的論文給你帶來了一個顛覆性的解決方案！他們發(fā)現(xiàn)，在推理大型語言模型時，“大力出奇跡”不再是真理！通過深入研究推理過程中的計算與性能關(guān)系，他們提出了“推理縮放定律”，并革命性地推出了一種名為REBASE的全新算法。REBASE就像一位聰明的向?qū)?，能夠巧妙地利用獎勵信號，指引模型在推理的迷宮中高效探索，避免了傳統(tǒng)方法中耗時費力的盲目搜索。實驗結(jié)果令人...

前言本文基于某時間序列分類任務(wù)數(shù)據(jù)集，介紹一種融合快速傅里葉變換FFT，基于時頻特征融合的FFTCNNBiGRUAttention創(chuàng)新分類模型。1模型簡介與創(chuàng)新點介紹1.1模型簡介●數(shù)據(jù)集：時間序列分類任務(wù)數(shù)據(jù)集●環(huán)境框架：python3.9pytorch2.1及其以上版本均可運行●使用對象：入門學(xué)習(xí)，論文需求者●代碼保證：代碼注釋詳細(xì)、即拿即可跑通?！衽涮孜募涸敿?xì)的環(huán)境配置安裝教程，模型、參數(shù)講解文檔1.2創(chuàng)新點介紹（1）快速傅里葉變換（F...

文章鏈接：https:arxiv.orgpdf2412.17098Github鏈接：https:zjbinxia.github.ioDreamOmniProjectPage亮點直擊對現(xiàn)有的模型框架進(jìn)行了分析，并基于不同任務(wù)的特點，提出了一種高效且強大的統(tǒng)一圖像生成與編輯框架——DreamOmni。引入了一種合成拼貼數(shù)據(jù)pipeline，用以解決當(dāng)前創(chuàng)建和篩選高質(zhì)量編輯數(shù)據(jù)的低效性和困難。此外，還利用該合成拼貼數(shù)據(jù)pipeline來提高T2I模型輸出的準(zhǔn)確性。實驗結(jié)果表明，合成數(shù)據(jù)是一種高效、優(yōu)質(zhì)且...

2024年成為生成式AI實現(xiàn)商業(yè)化落地的關(guān)鍵年，在各個行業(yè)中脫穎而出正在對全球經(jīng)濟產(chǎn)生難以置信的影響。而企業(yè)也在不斷探索其應(yīng)用潛力，開發(fā)出新的商業(yè)用例。例如，在電信領(lǐng)域，Lumen通過Copilot每周為銷售人員節(jié)省平均四小時，相當(dāng)于每年節(jié)省5000萬美元。在醫(yī)療保健領(lǐng)域，奇美醫(yī)療中心的醫(yī)生現(xiàn)在只需15分鐘而不是一小時就能完成醫(yī)療報告的撰寫，護(hù)士可以在不到5分鐘內(nèi)記錄患者信息。為了指導(dǎo)組織在生成式AI轉(zhuǎn)型旅程中的方向，微...

隨著生成式人工智能（GenAI）鋪天蓋地的宣傳，首席財務(wù)官們（CFO）往往按捺不住內(nèi)心的焦慮，不得不關(guān)注GenAI的采用成本或其近期可能產(chǎn)生的影響。但我相信CFO一定會打破傳統(tǒng)慣例，并成為組織內(nèi)GenAI技術(shù)倡導(dǎo)者，原因有以下三個方面：CFO的角色正在從財務(wù)管理擴展到戰(zhàn)略領(lǐng)導(dǎo)層；金融領(lǐng)域已經(jīng)出現(xiàn)采用GenAI的商業(yè)案例；就像云技術(shù)那樣，如果完全不采用GenAI可能會導(dǎo)致競爭風(fēng)險，因為GenAI會很快從“個性品”演變?yōu)?ldquo;必需品”。首席...

編輯言征出品51CTO技術(shù)棧（微信號：blog51cto）臨近年尾，相信很多朋友都在盤點這一年。很多人都在有意無意地在圍觀大模型這場全明星球賽。OpenAI、谷歌、Anthropic、Meta，還有馬斯克的XAI，以及AI應(yīng)用層面比如Perplexity等一眾新秀球員，究竟誰會技壓群雄，贏得接下來的2025？這還得交給入局久的專業(yè)老球迷來做賽事的點評。12月初，在知名商業(yè)博客節(jié)目InvestLikeTheBest中，有兩位大模型領(lǐng)域的老球迷對這一賽事做了很犀利全面...

?“向量數(shù)據(jù)庫在召回效率與召回準(zhǔn)確率之間，需要做一個業(yè)務(wù)平衡”RAG的核心技術(shù)點就在于召回數(shù)據(jù)的準(zhǔn)確性，而在相似度搜索過程中，技術(shù)載體主要是以向量數(shù)據(jù)庫為主；因此，怎么提升向量數(shù)據(jù)庫的召回準(zhǔn)確率就成了一個亟待解決的問題。在上一篇關(guān)于向量數(shù)據(jù)庫的介紹中說，向量數(shù)據(jù)庫不同于傳統(tǒng)關(guān)系型數(shù)據(jù)的一點就是其使用的是向量度量的方式召回數(shù)據(jù)；而這一點就導(dǎo)致召回的數(shù)據(jù)在向量層面有關(guān)系，但在語義方面可能完全無關(guān)。就比...

編輯伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）?這可能是你今年看過最燃、最刺激的機器人影片！從懸崖邊翻個跟頭然后一路加速俯沖：圖片狂奔到水庫中，在水面上仍然全速前行：圖片穿越雜草叢生的森林坡地：圖片還能當(dāng)坐騎，馱著成年人翻閱山丘！圖片這個讓人腎上腺素瘋狂分泌的機器人，就是來自國內(nèi)公司，宇樹科技旗下的UnitreeB2W！團隊很自豪地說，在量產(chǎn)一年后，Unitree的B2W工業(yè)輪升級了，擁有了更多令人興奮的功能。還特...

在科技日新月異的今天，生成式人工智能（GenerativeAI）已成為備受矚目的焦點。自2022年11月ChatGPT的火爆問世以來，各行各業(yè)紛紛投身于生成式AI的懷抱，探索其在內(nèi)容生成、市場營銷、工程研究及文檔處理等方面的無限可能。本文旨在深入探討生成式AI的本質(zhì)、發(fā)展歷程、工作原理、常見類型及其應(yīng)用，同時剖析其面臨的挑戰(zhàn)與未來展望。一、生成式AI概述生成式AI是一種人工智能技術(shù)，它能夠生成文本、圖像或音頻等形式的內(nèi)容。通過...