“損失函數(shù)和梯度下降是神經(jīng)網(wǎng)絡(luò)中僅次于神經(jīng)網(wǎng)絡(luò)模型本身的兩個(gè)函數(shù)，甚至神經(jīng)網(wǎng)絡(luò)模型的性能就是由其所決定的”今天我們來(lái)介紹一下神經(jīng)網(wǎng)絡(luò)模型中非常重要的兩個(gè)知識(shí)點(diǎn)，損失函數(shù)與優(yōu)化函數(shù)。了解過(guò)神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)運(yùn)作流程的應(yīng)該都知道這兩個(gè)重要函數(shù)，可以說(shuō)一個(gè)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的怎么樣是一方面，但怎么讓神經(jīng)網(wǎng)絡(luò)表現(xiàn)更好，就看這兩個(gè)函數(shù)的質(zhì)量了。損失函數(shù)與優(yōu)化函數(shù)??神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程在現(xiàn)有的神經(jīng)網(wǎng)絡(luò)體系中，神經(jīng)網(wǎng)...

“外部數(shù)據(jù)需要經(jīng)過(guò)嵌入——Embedding轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)可以識(shí)別的向量格式的數(shù)據(jù)”開(kāi)發(fā)一個(gè)大模型或者說(shuō)神經(jīng)網(wǎng)絡(luò)需要經(jīng)過(guò)以下幾個(gè)大致步驟：1.數(shù)據(jù)集的處理2.神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)3.神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練前向傳播損失計(jì)算優(yōu)化器反向傳播可能很多人覺(jué)得神經(jīng)網(wǎng)絡(luò)模型很復(fù)雜，也看不懂啥是啥；比如說(shuō)很多人還分不清pytorch和Transformer的區(qū)別，也看不明白Transformer的結(jié)構(gòu)圖是什么。所以，今天我們以Transformer架構(gòu)為例，詳細(xì)梳理一下神經(jīng)...

LLM（LargeLanguageModel，大型語(yǔ)言模型）是一個(gè)功能強(qiáng)大的新平臺(tái)，但它們并不總是使用與我們的任務(wù)相關(guān)的數(shù)據(jù)或者是最新的數(shù)據(jù)進(jìn)行訓(xùn)練。RAG（RetrievalAugmentedGeneration，檢索增強(qiáng)生成）是一種將LLM與外部數(shù)據(jù)源（例如私有數(shù)據(jù)或最新數(shù)據(jù)）連接的通用方法。它允許LLM使用外部數(shù)據(jù)來(lái)生成其輸出。要想真正掌握RAG，我們需要學(xué)習(xí)下圖所示的技術(shù)（技巧）：圖片這個(gè)圖看起來(lái)很讓人頭大，但是不用擔(dān)心，你來(lái)對(duì)地方了。本系列教程...

梯度消失（VanishingGradient）與梯度爆炸（ExplodingGradient）梯度消失和梯度爆炸是深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練中經(jīng)常遇到的兩個(gè)重要問(wèn)題，尤其是在訓(xùn)練較深的網(wǎng)絡(luò)時(shí)。這兩個(gè)問(wèn)題都會(huì)影響網(wǎng)絡(luò)的訓(xùn)練效率，甚至導(dǎo)致訓(xùn)練失敗。下面小A將詳細(xì)講解這兩個(gè)問(wèn)題。一.梯度消失概念梯度消失是指在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)，反向傳播過(guò)程中的梯度逐漸變小，最終導(dǎo)致梯度接近于零的現(xiàn)象。這使得神經(jīng)網(wǎng)絡(luò)的權(quán)重更新非常緩慢，甚至導(dǎo)致某些層的權(quán)重根本不...

在商業(yè)環(huán)境中，決策過(guò)程通常涉及數(shù)據(jù)分析，以選擇最合適的方案來(lái)實(shí)現(xiàn)特定目標(biāo)。例如，制藥公司Pfizer可能需要決定哪些工廠應(yīng)該運(yùn)營(yíng)或停止，以及每個(gè)工廠應(yīng)該雇傭多少員工，以最小化生產(chǎn)成本并保持準(zhǔn)時(shí)交付。這一過(guò)程通常分為三個(gè)步驟：制定分析計(jì)劃、檢索必要數(shù)據(jù)、基于數(shù)據(jù)做出決策。其中最困難的部分就是，人類(lèi)需要制定分析決策planRAG的目標(biāo)是用LLM替代人類(lèi)角色，實(shí)現(xiàn)整個(gè)決策過(guò)程的自動(dòng)化。PlanRAG決策問(wèn)答（DecisionQA）任...

OpenAI推出一項(xiàng)名為T(mén)asks的測(cè)試版功能。圖片無(wú)論是任何任務(wù)，只需要向它說(shuō)明需求和時(shí)間，它就能實(shí)現(xiàn)自動(dòng)化處理。“任務(wù)”（Tasks）功能的推出可能是“Operator”的前兆。之前，在SamAltman博客“反思”文章中，OpenAI的全新子域名operator被挖掘出來(lái)，這個(gè)就是，2025年1月即將發(fā)布的第一個(gè)AIAgent。圖片operator預(yù)計(jì)會(huì)集成在ChatGPT中，可以自動(dòng)化編碼、內(nèi)容等多種業(yè)務(wù)場(chǎng)景，與第三方應(yīng)用API交互，實(shí)現(xiàn)自動(dòng)化。根據(jù)OpenAI的設(shè)想...

“歐米伽未來(lái)研究所”關(guān)注科技未來(lái)發(fā)展趨勢(shì)，研究人類(lèi)向歐米伽點(diǎn)演化過(guò)程中面臨的重大機(jī)遇與挑戰(zhàn)。將不定期推薦和發(fā)布世界范圍重要科技研究進(jìn)展和未來(lái)趨勢(shì)研究。Questel是一家世界著名端到端知識(shí)產(chǎn)權(quán)解決方案提供商，為超過(guò)20,000家客戶(hù)和150萬(wàn)用戶(hù)提供服務(wù)，覆蓋30個(gè)國(guó)家。主要提供軟件套件，用于發(fā)明和知識(shí)產(chǎn)權(quán)資產(chǎn)的搜索、分析和管理。簡(jiǎn)述深度學(xué)習(xí)和大型語(yǔ)言模型（LLMs）專(zhuān)利的關(guān)鍵趨勢(shì)圖示深度學(xué)習(xí)領(lǐng)域知識(shí)產(chǎn)權(quán)保護(hù)的激烈...

想象一下，就像咱們家里的水管，正常來(lái)講水應(yīng)該嘩嘩地流，可要是這管子太窄了，水就只能滴滴答答，讓人干著急！當(dāng)下咱們面臨的大模型服務(wù)吞吐率太小，不就類(lèi)似于這窄窄的水管嗎？當(dāng)面試官問(wèn)你有沒(méi)有辦法把大模型服務(wù)吞吐這個(gè)“管子”拓寬，讓數(shù)據(jù)像奔騰的江河一樣順暢流淌，你準(zhǔn)備怎么解決？1.面試官心理分析當(dāng)面試官問(wèn)你這個(gè)問(wèn)題的時(shí)候，其實(shí)面試官主要是想考驗(yàn)?zāi)闳缦?個(gè)方面：第一，在實(shí)際業(yè)務(wù)中，你有沒(méi)有做過(guò)大模型服務(wù)性能...

介紹使用LlamaFactory結(jié)合開(kāi)源大語(yǔ)言模型實(shí)現(xiàn)文本分類(lèi)：從數(shù)據(jù)集構(gòu)建到LoRA微調(diào)與推理評(píng)估.https:blog.csdn.netsjxgghgarticledetails144290200在前一篇文章的文本分類(lèi)評(píng)估中，已經(jīng)介紹了主要的框架，故在大模型微調(diào)的流程框架方面本文不再贅述。實(shí)體數(shù)據(jù)集格式下述是實(shí)體識(shí)別評(píng)估的一條數(shù)據(jù)示例：{"prompt":"從以下政府文本中，提取指定的實(shí)體類(lèi)別，并按照J(rèn)SON格式輸出結(jié)果。xxx","predict":"\njson\n{\n\"行政區(qū)劃和地理實(shí)體\...

什么是混合專(zhuān)家模型MoE呢？混合專(zhuān)家模型MoE是一種能讓大型語(yǔ)言模型（LLM）質(zhì)量變好的技術(shù)。它主要由兩部分組成：專(zhuān)家——現(xiàn)在每個(gè)前饋神經(jīng)網(wǎng)絡(luò)（FFNN）層都有好多個(gè)“專(zhuān)家”，每次可以用其中一部分。“專(zhuān)家”一般也是前饋神經(jīng)網(wǎng)絡(luò)。門(mén)控網(wǎng)絡(luò)——它能決定把哪些tokens送到哪些專(zhuān)家那兒。在帶混合專(zhuān)家模型MoE的大型語(yǔ)言模型的每一層，都能看到這些有點(diǎn)專(zhuān)門(mén)作用的專(zhuān)家:要知道，這里的‘專(zhuān)家’可不是像‘心理學(xué)’‘生物學(xué)’這種特定...

2024，中國(guó)大模型行業(yè)落地究竟怎么樣了？回顧2024，生成式AI浪潮洶涌，但核心驅(qū)動(dòng)力卻始終沒(méi)有變化，依舊源自于“人”不懈推動(dòng)。特別是過(guò)去一年，行業(yè)內(nèi)涌現(xiàn)出眾多上下求索的創(chuàng)新先鋒，他們對(duì)中國(guó)人工智能落地產(chǎn)生了深遠(yuǎn)影響。透過(guò)這些人物群像，我們可以窺見(jiàn)2024中國(guó)AI落地進(jìn)程的生動(dòng)面貌。他們其中，不乏互聯(lián)網(wǎng)業(yè)內(nèi)的精英，敏銳捕捉到前沿技術(shù)的落地痛點(diǎn)，通過(guò)出色的產(chǎn)品表現(xiàn)，贏得公眾的聲聲喝彩。更有佼佼者走出大廠，為信...

編者按：每天我們都在與各種格式的文檔打交道，如何快速準(zhǔn)確地從這些文檔中提取有價(jià)值的信息，如何讓AI理解文檔中的表格、公式和圖表，成為擺在我們面前的一道難題。特別是對(duì)于從事數(shù)據(jù)分析、學(xué)術(shù)研究或法律工作的專(zhuān)業(yè)人士來(lái)說(shuō)，手動(dòng)處理和整理這些文檔不僅耗時(shí)耗力，還容易出錯(cuò)。一份技術(shù)報(bào)告中的復(fù)雜數(shù)學(xué)公式，一篇論文中的多層嵌套表格，或是一份合同中的關(guān)鍵條款，都需要我們投入大量精力去理解和提取。本文深入剖析了當(dāng)前...

文章鏈接：https:arxiv.orgpdf2501.06187項(xiàng)目鏈接：https:snapresearch.github.ioopensetvideopersonalization亮點(diǎn)直擊提出了VideoAlchemist，這是一種支持前景對(duì)象和背景的多主體、開(kāi)放集合個(gè)性化的新型視頻生成模型。精心構(gòu)建了大規(guī)模訓(xùn)練數(shù)據(jù)集，并引入訓(xùn)練技術(shù)以降低模型過(guò)擬合。引入了MSRVTTPersonalization，這是一種新的視頻個(gè)性化基準(zhǔn)，提供多種條件模式并能準(zhǔn)確測(cè)量主體保真度?？偨Y(jié)速覽解決的問(wèn)題現(xiàn)有視頻個(gè)性化生成...

編者按：當(dāng)AIAgent執(zhí)行長(zhǎng)期任務(wù)時(shí)，如何有效管理和存儲(chǔ)它們的"記憶"？向量數(shù)據(jù)庫(kù)真的能滿(mǎn)足所有AIAgent的記憶需求嗎？我們今天為大家?guī)?lái)的文章中，作者指出當(dāng)前主流的向量數(shù)據(jù)庫(kù)雖然能夠有效處理對(duì)話(huà)記憶，但無(wú)法完全滿(mǎn)足AgenticAI系統(tǒng)在長(zhǎng)期任務(wù)執(zhí)行過(guò)程中的多樣化記憶需求。文章首先介紹了AgenticAI系統(tǒng)的基本概念，以營(yíng)銷(xiāo)案例說(shuō)明了其任務(wù)分解和執(zhí)行能力。隨后深入探討了向量數(shù)據(jù)庫(kù)在管理AI記憶方面的應(yīng)用及其局限性，特別...

推薦系統(tǒng)自1992年基于用戶(hù)的協(xié)同過(guò)濾算法誕生以來(lái)，經(jīng)歷了一波又一波的革新大潮，發(fā)展至今，已經(jīng)形成了一套體系完善，理論嚴(yán)密的技術(shù)領(lǐng)域。隨著越來(lái)越多的基于深度學(xué)習(xí)的推薦系統(tǒng)模型誕生，該領(lǐng)域關(guān)于準(zhǔn)確率的追求似乎已經(jīng)不再吸引人們的眼球。相反，越來(lái)越多的人開(kāi)始關(guān)注其他熱點(diǎn)技術(shù)，比如大模型算法。2023年，來(lái)自澳大利亞RMIT大學(xué)的YueqingXuan等研究人員在arXiv上公布了一篇題為MoreIsLess:WhenDoRecommendersUnderperform...

筆者在前面預(yù)訓(xùn)練了一個(gè)多模態(tài)大模型Reyes，詳情見(jiàn)《??【多模態(tài)&LLM】Reyes：一個(gè)從0到1開(kāi)始訓(xùn)練的多模態(tài)大模型（技術(shù)報(bào)告）??》。本文將為Reyes增加一個(gè)batch推理方式，提高Reyes的推理速度。Reyes8B開(kāi)源地址：modelscope權(quán)重下載地址：https:modelscope.cnmodelsyujunhuinlpReyes8Bgithub：https:github.comyujunhuicsReyes使用方式將本倉(cāng)庫(kù)中的??modelingreyes.py???文件替換modelscrope下載的??modelingreyes.py...

01、概述近年來(lái)，隨著多模態(tài)模型（LMMs）在文本和圖像處理任務(wù)上的進(jìn)步，視頻處理領(lǐng)域卻顯得有些“姍姍來(lái)遲”。與單一靜態(tài)數(shù)據(jù)相比，視頻集成了時(shí)間和空間維度的復(fù)雜性，對(duì)計(jì)算資源的要求更高。然而，現(xiàn)有方法通常沿用圖像處理模型的架構(gòu)，或依賴(lài)簡(jiǎn)單的均勻幀采樣，這種方式難以有效捕捉視頻中的動(dòng)態(tài)與時(shí)間模式。此外，訓(xùn)練大規(guī)模視頻模型耗費(fèi)極大的計(jì)算資源，使得實(shí)驗(yàn)和創(chuàng)新受限。為了解決這些問(wèn)題，MetaAI和斯坦福大學(xué)的研究...

01、概述近年來(lái)，語(yǔ)音合成技術(shù)取得了顯著進(jìn)展，尤其是在實(shí)現(xiàn)實(shí)時(shí)、自然流暢的語(yǔ)音生成方面。然而，在真正的應(yīng)用中，諸如延遲、發(fā)音準(zhǔn)確度、說(shuō)話(huà)人一致性等問(wèn)題仍然困擾著行業(yè)，尤其是在需要高響應(yīng)性的流媒體應(yīng)用中。這些技術(shù)難題在處理復(fù)雜語(yǔ)言輸入時(shí)尤為突出，比如繞口令或多音字，這超出了現(xiàn)有模型的處理能力。為了應(yīng)對(duì)這些挑戰(zhàn)，阿里巴巴的研究人員推出了CosyVoice2，一款針對(duì)語(yǔ)音合成技術(shù)難題的升級(jí)版模型，旨在有效解決這...

01、概述近年來(lái)，隨著大型語(yǔ)言模型（LLMs）的興起，自然語(yǔ)言處理技術(shù)取得了飛速發(fā)展。從GPT到Llama，這些前沿的語(yǔ)言模型在各個(gè)領(lǐng)域中展現(xiàn)出了令人驚嘆的能力。然而，訓(xùn)練這些頂級(jí)模型的過(guò)程卻充滿(mǎn)了挑戰(zhàn)。以Llama3.1405B為例，其訓(xùn)練過(guò)程中需要約3900萬(wàn)個(gè)GPU小時(shí)，相當(dāng)于4500年單GPU計(jì)算時(shí)間。為了在幾個(gè)月內(nèi)完成這樣的訓(xùn)練，工程師們采用了4D并行化的策略，跨越數(shù)據(jù)、張量、上下文和管道等多個(gè)維度進(jìn)行優(yōu)化。這種方法雖然高效...

編輯伊風(fēng)月初，騰訊被美國(guó)國(guó)防部列進(jìn)了“中國(guó)軍工企業(yè)清單”（1260H清單）已經(jīng)夠離譜了！沒(méi)想到剛過(guò)去10天，更離譜的事情出現(xiàn)了：大模型公司也登上了美國(guó)黑名單！昨晚深夜，美國(guó)商務(wù)部工業(yè)和安全局（BIS）修訂了實(shí)體清單，其中大模型六小虎之一的智譜公司赫然在列。圖片把手伸向大模型公司，美國(guó)官方也給定了理由：“十個(gè)實(shí)體因其通過(guò)發(fā)展和整合先進(jìn)的人工智能研究來(lái)推動(dòng)中國(guó)的軍事現(xiàn)代化而被列入清單。”令人驚訝的是，這十家...