AI.x社區(qū)
- 登錄/注冊
機(jī)器學(xué)習(xí)的下一個前沿—量子擴(kuò)展
原創(chuàng)
社區(qū)頭條本文將和你探討量子擴(kuò)展的基本概念，它在機(jī)器學(xué)習(xí)中的優(yōu)勢，以及我們將如何從中獲益。現(xiàn)如今，機(jī)器學(xué)習(xí)的速度比以往任何時候都快得多，也能夠解決那些曾被認(rèn)為完全無法解決的問題。將來，在量子計算潛力的驅(qū)動下，人工智能（AI）模型會越來越大、越來越強(qiáng)，甚至?xí)轿覀儗ζ溆?xùn)練的工具。說到模型訓(xùn)練，其計算和能源的消耗成本日趨高啟。GPT4及其繼任者的大規(guī)模訓(xùn)練所消耗的電力已與一個城市相當(dāng)。此外，據(jù)報道，OpenAI的GPT3...PyTorch機(jī)器學(xué)習(xí)量子擴(kuò)展大模型訓(xùn)練之訓(xùn)練數(shù)據(jù)準(zhǔn)備，即怎么準(zhǔn)備高質(zhì)量的訓(xùn)練數(shù)據(jù)集？
原創(chuàng) 社區(qū)頭條“訓(xùn)練數(shù)據(jù)集的質(zhì)量是大模型的主要生命線之一，數(shù)據(jù)集質(zhì)量直接影響到模型的性能和效果”訓(xùn)練一個高性能且表現(xiàn)較好的模型是由多種因素決定的，比如模型的設(shè)計，損失函數(shù)與優(yōu)化函數(shù)的實現(xiàn)，訓(xùn)練方式的選擇；當(dāng)然也包括高質(zhì)量的訓(xùn)練數(shù)據(jù)。那么，怎么才能得到一個高質(zhì)量的訓(xùn)練數(shù)據(jù)集呢？這個就是我們今天需要討論的問題。訓(xùn)練數(shù)據(jù)集的準(zhǔn)備機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型的性能高度依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量；訓(xùn)練數(shù)據(jù)的準(zhǔn)備工作對于構(gòu)建...大模型數(shù)據(jù)清洗小紅書翻譯緊急上線，見證歷史：大模型翻譯首次上線C端應(yīng)用！AI竟自稱是GPT-4?
原創(chuàng)編輯伊風(fēng)程序員鍵盤敲冒煙，小紅書翻譯功能這不是就來了嗎！之前大家各種吐槽美國人用的翻譯機(jī)器不準(zhǔn)確，導(dǎo)致大家交流起來“人機(jī)感很重”，一些美網(wǎng)友還需要額外用ChatGPT才能實現(xiàn)無縫交流。這翻譯功能一出來，語言障礙什么的都不存在了。官方聲明足足有十萬點贊，很多外國友人也在評論區(qū)直呼中國速度！圖片雖然官方聲明只介紹了中譯英和英譯中，但這波小紅書的翻譯已經(jīng)說是“萬物皆可翻”也不過分。翻譯小語種：經(jīng)網(wǎng)友測試，不...小紅書C端GPT-4OpenBMB 剛剛發(fā)布 MiniCPM-o 2.6：新的 8B 參數(shù)、Any-to-Any 多模態(tài)模型
原創(chuàng) 社區(qū)頭條01、概述近年來，人工智能技術(shù)突飛猛進(jìn)，但在計算效率與靈活性之間的平衡仍然是一個巨大挑戰(zhàn)。像GPT4這樣的多模態(tài)模型，盡管具有前所未有的強(qiáng)大能力，但也需要龐大的計算資源，這使得它們只能在高端服務(wù)器上運(yùn)行，導(dǎo)致普通用戶，尤其是智能手機(jī)、平板電腦等邊緣設(shè)備的用戶，無法充分體驗這些技術(shù)的魅力。此外，像視頻分析或語音轉(zhuǎn)文本這樣的實時處理任務(wù)仍然面臨技術(shù)上的諸多難題。這些問題凸顯了開發(fā)既高效又靈活的AI模型的迫...多模態(tài)大模型九種不同類型的檢索增強(qiáng)生成 (RAG)
原創(chuàng) 精華01、概述在人工智能的世界里，RetrievalAugmentedGeneration(RAG)框架因其能夠結(jié)合檢索式與生成式模型的優(yōu)勢而備受矚目。RAG模型通過從外部數(shù)據(jù)源檢索相關(guān)信息，并以此生成基于上下文的回答，不僅提升了生成內(nèi)容的準(zhǔn)確性，還讓模型能夠處理大量復(fù)雜的信息。RAG的發(fā)展衍生出多個變體，每種變體針對不同領(lǐng)域的需求和挑戰(zhàn)進(jìn)行了優(yōu)化。本文將詳細(xì)解析九種RAG框架：標(biāo)準(zhǔn)RAG、糾錯RAG、推測RAG、融合RAG、自主RAG、自反RAG、圖譜RAG、...RAGDolphin 3.0 發(fā)布（Llama 3.1 + 3.2 + Qwen 2.5）：本地優(yōu)先、可操縱的 AI 模型
原創(chuàng)01、概述人工智能，已經(jīng)滲透進(jìn)我們生活的方方面面，改變了我們的工作方式、生活習(xí)慣，甚至人際交往的模式。然而，盡管AI取得了長足的進(jìn)步，依舊面臨許多挑戰(zhàn)。許多AI系統(tǒng)過度依賴云端基礎(chǔ)設(shè)施，帶來了隱私泄露的風(fēng)險；有些系統(tǒng)用戶控制能力較弱，難以根據(jù)需求進(jìn)行個性化定制；更有甚者，調(diào)整AI行為以滿足特定需求的難度常常大于預(yù)期。而在眾多先進(jìn)模型中，性能往往被置于易用性之上，這使得許多用戶在本地環(huán)境中難以部署這些模...Dolphin 3.0人工智能驚掉下巴！o3像是一個彌天大謊！基準(zhǔn)構(gòu)建者Epoch AI發(fā)長文認(rèn)錯曝猛料：OpenAI竟獨家訪問數(shù)據(jù)集，問題和答案
原創(chuàng)出品51CTO技術(shù)棧（微信號：blog51cto）驚天大瓜來了！去年年底OpenAI推出o3推理，在數(shù)學(xué)、編碼、通用AGI方面都取得了令人的難以置信的類人甚至超人的進(jìn)展。但就在昨天，大洋彼岸的一眾人工智能專家開始對“o3”的這些數(shù)據(jù)表示嚴(yán)重的懷疑，甚至將之比作“Theranos”時刻（一家建立在巨大謊言之上的公司，項目參與人員被迫保密，外界卻被蒙在鼓里）。因為事實證明，o3的發(fā)布者OpenAI恰恰資助了FrontierMath，同時可以訪問大部分?jǐn)?shù)...o3OpenAIGSM8KFineMedLM-o1: 基于監(jiān)督微調(diào)與測試時訓(xùn)練的醫(yī)學(xué)推理增強(qiáng)型大語言模型
精華一、研究背景與意義近年來，大語言模型(LLMs)在醫(yī)療領(lǐng)域的應(yīng)用展現(xiàn)出巨大潛力，特別是在疾病診斷和治療規(guī)劃等方面。然而，現(xiàn)有的醫(yī)學(xué)大語言模型在處理復(fù)雜臨床場景時，往往難以進(jìn)行深度推理，尤其是在差異化診斷和個性化治療建議等方面存在明顯短板。本研究提出的FineMedLMo1模型，通過創(chuàng)新性地結(jié)合高質(zhì)量合成醫(yī)學(xué)數(shù)據(jù)和長格式推理數(shù)據(jù)，采用監(jiān)督微調(diào)(SFT)和直接偏好優(yōu)化(DPO)技術(shù)，顯著提升了模型的醫(yī)學(xué)推理能力。二、技術(shù)創(chuàng)新...大語言模型數(shù)據(jù)合成機(jī)器學(xué)習(xí)|從0開始大模型之位置編碼
1、什么是位置編碼在語言中，一句話是由詞組成的，詞與詞之間是有順序的，如果順序亂了或者重排，其實整個句子的意思就變了，所以詞與詞之間是有順序的。在循環(huán)神經(jīng)網(wǎng)絡(luò)中，序列與序列之間也是有順序的，所以循環(huán)神經(jīng)網(wǎng)絡(luò)中，序列與序列之間也是有順序的，不需要處理這種問題。但是在Transformer中，每個詞是獨立的，所以需要將詞的位置信息添加到模型中，讓模型維護(hù)順序關(guān)系。位置編碼位置編碼就是將helloworld!的token和位置...機(jī)器學(xué)習(xí)大模型位置編碼大模型廠商視角的AI Agent綜述，Anthropic圖文并茂多個案例教你構(gòu)建有效智能體
社區(qū)頭條如何建立有效的智能體？來自anthropic的官方AIAgent構(gòu)建指南一文了解大模型廠商眼中的智能體，來自anthropic的AIAgent年度性總結(jié)到底什么是智能體？一篇anthropic官方AIAgent綜述看明白工作流和Agent有何區(qū)別？應(yīng)該什么時候用工作流和Agent？Anthropic官方指南來了構(gòu)建AIAgent用框架還是用工作流？Anthropic年度綜述智能體構(gòu)建指北大模型廠商視角的AIAgent綜述，Anthropic圖文并茂多個案例教你構(gòu)建有效智能體最近兩個月，全球大...AIAgent智能體LLM架構(gòu)從基礎(chǔ)到精通之門控循環(huán)單元（GRUs）
在之前對循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）和長短期記憶網(wǎng)絡(luò)（LSTMs）的深入探討中，我們了解了它們在處理序列數(shù)據(jù)方面的強(qiáng)大能力以及應(yīng)對挑戰(zhàn)的獨特方式。接下來，我們將聚焦于另一種重要的神經(jīng)網(wǎng)絡(luò)架構(gòu)——門控循環(huán)單元（GRUs），它在解決標(biāo)準(zhǔn)RNN面臨的問題上展現(xiàn)出了獨特的優(yōu)勢。12.門控循環(huán)單元（GRUs）門控循環(huán)單元（GRU）由Cho等人在2014年提出，旨在解決標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）面臨的梯度消失問題。GRU與長短期記憶網(wǎng)絡(luò)（LSTM）有許...LLM架構(gòu)循環(huán)單元處女座 (Virgo)：基于文本指令微調(diào)的多模態(tài)慢思考推理系統(tǒng)
1.引言近年來，隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，人工智能(AI)在諸多領(lǐng)域取得了突破性進(jìn)展。然而，傳統(tǒng)的深度學(xué)習(xí)模型在處理需要復(fù)雜推理的任務(wù)時仍然面臨挑戰(zhàn)。例如，在面對數(shù)學(xué)題、邏輯謎題或科學(xué)問題時，簡單地依靠模式識別和函數(shù)擬合難以獲得令人滿意的結(jié)果。為了解決這個問題，研究人員開始探索將深度學(xué)習(xí)與符號推理相結(jié)合，從而賦予AI系統(tǒng)更強(qiáng)的推理能力，即慢思考推理。慢思考推理強(qiáng)調(diào)對問題進(jìn)行深入分析和逐步求解，而非僅...多模態(tài)推理系統(tǒng)人工智能清華&人大：search-o1 讓推理模型具有主動能力
1.背景大型推理模型如OpenAIo1、QwenQwQ等通過大規(guī)模強(qiáng)化學(xué)習(xí)，在科學(xué)、數(shù)學(xué)、編碼等復(fù)雜領(lǐng)域展現(xiàn)出了強(qiáng)大的逐步推理能力。它們以“慢思考”模式生成長思維鏈條，有效解決復(fù)雜問題，增強(qiáng)了推理的邏輯性和可解釋性。然而，這也帶來了顯著弊端，在長鏈?zhǔn)酵评磉^程中，模型常常遭遇知識不足的困境。這使得推理鏈條容易出現(xiàn)錯誤傳播，嚴(yán)重影響最終答案的質(zhì)量。例如，在處理一些復(fù)雜的科學(xué)問題時，模型可能會因為對某些關(guān)鍵知識點的缺...Search - o1框架模型FLUX加持大幅提升渲染質(zhì)量和控制能力！浙大&哈佛提出3DIS升級版3DIS-FLUX
文章鏈接：https:arxiv.orgpdf2501.05131項目鏈接：https:limuloo.github.io3DIS亮點直擊3DIS的創(chuàng)新：通過深度驅(qū)動的解耦生成框架，大大降低了對計算資源的需求，并解決了適配器方法的重新訓(xùn)練問題。FLUX的集成：3DISFLUX利用FLUX模型提升了渲染質(zhì)量和控制能力，超越了傳統(tǒng)的UNet架構(gòu)。訓(xùn)練free細(xì)節(jié)渲染：通過細(xì)致控制FLUX模型中的Attention機(jī)制，成功實現(xiàn)了對每個實例細(xì)節(jié)的精確渲染，避免了額外的訓(xùn)練負(fù)擔(dān)。性能與質(zhì)量雙重提...3D模型生成BiomedGPT：一種用于多樣化生物醫(yī)學(xué)任務(wù)的通用型跨模態(tài)基礎(chǔ)模型 - 賓州Lehigh大學(xué)、佐治亞大學(xué)、哈佛醫(yī)學(xué)院
摘要傳統(tǒng)的生物醫(yī)學(xué)人工智能（AI）模型，針對特定任務(wù)或模式設(shè)計，在實際應(yīng)用中往往表現(xiàn)出有限的靈活性，并且難以利用整體信息。通用型AI由于其解釋不同數(shù)據(jù)類型的能力以及為多樣化需求生成定制輸出的能力，具有解決這些限制的潛力。然而，現(xiàn)有的生物醫(yī)學(xué)通用型AI解決方案通常對研究人員、從業(yè)者和患者而言是重量級且閉源的。在這里，我們提出了BiomedGPT，第一個開源且輕量級的視覺語言基礎(chǔ)模型，旨在作為一個能夠執(zhí)行各種生物...通用型跨模態(tài)MLM基于深度強(qiáng)化學(xué)習(xí)的投資組合配置動態(tài)優(yōu)化
投資組合優(yōu)化是金融中的核心挑戰(zhàn)，涉及資金在多個資產(chǎn)間的動態(tài)配置，傳統(tǒng)方法存在假設(shè)限制和適應(yīng)性不足的問題。本研究探討深度強(qiáng)化學(xué)習(xí)在投資組合優(yōu)化中的應(yīng)用。結(jié)果表明，深度強(qiáng)化學(xué)習(xí)（DRL）模型在投資組合優(yōu)化中表現(xiàn)優(yōu)異，年化平均回報率為19.56%，夏普比率為1.5550，顯示出卓越的風(fēng)險調(diào)整回報。論文地址：https:arxiv.orgpdf2412.18563摘要人工智能正在改變金融投資決策，深度強(qiáng)化學(xué)習(xí)（DRL）在機(jī)器人顧問服務(wù)中展現(xiàn)出應(yīng)用...深度強(qiáng)化配置動態(tài)大語言模型推理框架llama.cpp開發(fā)實戰(zhàn)
原創(chuàng)本文首先探索當(dāng)前熱門的大語言模型推理框架llama.cpp的內(nèi)部架構(gòu)，然后使用此框架實現(xiàn)了一個基本形式的聊天程序。簡介當(dāng)前，llama.cpp框架以其簡單性被業(yè)界廣泛采用，徹底改變了LLM推理領(lǐng)域。它支持企業(yè)和個人開發(fā)人員能夠在從SBC到多GPU集群的各類型設(shè)備上部署機(jī)器學(xué)習(xí)大型語言模型。盡管llama.cpp的語言綁定方式使其使用方式變得容易，但是對于性能敏感或資源受限的情況，使用CC++編程方案可能是一個更為可行的選擇。本文旨在...大語言模型llama.cpp框架LLMAIGC人工智能如何賦能汽車行業(yè)
原創(chuàng)在全球經(jīng)濟(jì)的數(shù)字化浪潮中，汽車行業(yè)正經(jīng)歷著前所未有的變革。在整體經(jīng)濟(jì)下行的背景下，企業(yè)內(nèi)功修煉成為重中之重，為實現(xiàn)經(jīng)濟(jì)轉(zhuǎn)型與高質(zhì)量發(fā)展，數(shù)字化轉(zhuǎn)型發(fā)揮著關(guān)鍵支撐的作用。這一趨勢在內(nèi)卷淘汰賽進(jìn)入下半場階段的汽車行業(yè)尤其凸顯，數(shù)字化轉(zhuǎn)型助力企業(yè)運(yùn)營的優(yōu)化與升級，為企業(yè)創(chuàng)造更多附加值。在汽車智能制造領(lǐng)域，AI與機(jī)器視覺技術(shù)結(jié)合，可以實現(xiàn)更精準(zhǔn)的質(zhì)量追溯和管理，與傳統(tǒng)的人工質(zhì)檢方式相比，這很大程度提高了...AIGC汽車行業(yè)AI Agent 智能體開發(fā)工作手冊詳細(xì)指南
原創(chuàng)AIAgent智能體，目前更具體地指的是LLMAgent。這是一種程序，其執(zhí)行邏輯受其底層大模型（LLM）的操控。與少樣本提示（Fewshot）或固定工作流（Workflow）等手段相比，LLMAgent的獨特之處在于它能定義并調(diào)整執(zhí)行用戶查詢所需的步驟。若能訪問一系列工具（例如：代碼執(zhí)行或網(wǎng)絡(luò)搜索），AIAgent智能體能夠決定采用何種工具、如何運(yùn)用它，并根據(jù)輸出結(jié)果進(jìn)行迭代優(yōu)化。這種靈活性使得系統(tǒng)能以最低限度的配置應(yīng)對多樣化的應(yīng)用場景。A...AI Agent智能體大模型前置處理之——特征提取
原創(chuàng)“特征提取是機(jī)器學(xué)習(xí)模型中的重要前置環(huán)境，特征提取的效果直接影響到模型的性能”在學(xué)習(xí)大模型技術(shù)的過程中，每個人應(yīng)該都聽過特征提??；但大部分人可能并不了解什么是特征提取，以及特征提取的方法和作用。所以，今天我們就來介紹一下大模型的前置處理——特征提取。特征提取背景有很多人認(rèn)為，特征提取是由神經(jīng)網(wǎng)絡(luò)發(fā)展而來；但事實上，在機(jī)器學(xué)習(xí)發(fā)展之出，甚至可以說在人工智能技術(shù)發(fā)展之初，特征提取就已經(jīng)出現(xiàn)了，只不...大模型特征提取神經(jīng)網(wǎng)絡(luò)
