全民LongLLM時(shí)代終于到來(lái)。本月，中國(guó)初創(chuàng)AGI（通用人工智能）公司月之暗面宣布旗下大模型工具KimiChat正式升級(jí)到200萬(wàn)字參數(shù)量，與五個(gè)月前該大模型初次亮相時(shí)的20萬(wàn)字相比，提升十倍。KimiChat的升級(jí)徹底引爆市場(chǎng)，同時(shí)也引起長(zhǎng)文本大模型（LongLLM）細(xì)分賽道更加激烈的競(jìng)爭(zhēng)。（圖源：阿里通義千問(wèn)）昨日，阿里旗下的大模型工具通義千問(wèn)宣布迎來(lái)重磅升級(jí)，向所有人開(kāi)放最高1000萬(wàn)字的長(zhǎng)文本處理能力，更重要的是，這項(xiàng)升級(jí)完...

“2024年是大模型應(yīng)用場(chǎng)景元年，中國(guó)完全可以走出一條具有中國(guó)特色的大模型發(fā)展之路。”周鴻祎的預(yù)測(cè)還言猶在耳，經(jīng)歷了“百模大戰(zhàn)”的國(guó)產(chǎn)大模型勝出者們，已經(jīng)吹響了商業(yè)場(chǎng)景落地之戰(zhàn)的號(hào)角。3月14日，大模型獨(dú)角獸智譜AI創(chuàng)始人兼CEO張鵬披露了公司目前的商業(yè)化進(jìn)展：已有超2000家生態(tài)合作伙伴，實(shí)現(xiàn)了超1000個(gè)大模型規(guī)模化應(yīng)用，與超200家企業(yè)進(jìn)行深度共創(chuàng)，涵蓋了傳媒、咨詢、消費(fèi)、金融、新能源、互聯(lián)網(wǎng)、智能辦公等多個(gè)細(xì)...

今年以來(lái)，如火如荼的AIGC領(lǐng)域出現(xiàn)了眾多不同的聲音。前不久，某中國(guó)著名投資人在一個(gè)行業(yè)論壇上表示：“大模型行業(yè)已經(jīng)過(guò)熱了，在通用大模型領(lǐng)域，已經(jīng)沒(méi)有什么機(jī)會(huì)了”。行業(yè)現(xiàn)實(shí)，也呈現(xiàn)出不同的面貌，一方面，不少AI創(chuàng)業(yè)公司遲遲找不到可持續(xù)的商業(yè)模式，融資困難；另一方面，看似主營(yíng)產(chǎn)品還是十分傳統(tǒng)的老牌玩家卻做的風(fēng)生水起，譬如微軟去年推出了WindowsAIStudio，開(kāi)發(fā)者可以在其中訪問(wèn)各種AI模型，并根據(jù)自己的需求進(jìn)行...

核心摘要：生命循環(huán)，人機(jī)共育在宏觀層面上，如果把人工智能看作一種生命體，AIGC+教育的內(nèi)涵其實(shí)是碳基生命和硅基生命的交互和培育問(wèn)題。AIGC技術(shù)是對(duì)人腦計(jì)算、思考、判斷等內(nèi)在能力的延伸，是人的智能在機(jī)器形態(tài)上的規(guī)模化聚集、運(yùn)作和反應(yīng)。由此，部分基礎(chǔ)性的專業(yè)工作被替代，AI在勞動(dòng)貢獻(xiàn)、價(jià)值創(chuàng)造中逐漸與人比肩甚至超越人類，AI和人類共同成為社會(huì)貢獻(xiàn)主體。在中觀層面上，AIGC技術(shù)在知識(shí)量、信息獲取和處理方面的強(qiáng)勢(shì)...

核心摘要：古人有云：日就月將，學(xué)有緝熙于光明。人類對(duì)人工智能學(xué)的潛心鉆研終于再度獲得重大突破，大模型的涌現(xiàn)能力與AIGC的應(yīng)用普及為那不一定是AGI但一定更AI的未來(lái)提供了確定性的加速度。AI2.0時(shí)代的加速到來(lái)，不僅是把AI能力融入到現(xiàn)有應(yīng)用中，更是未來(lái)產(chǎn)業(yè)范式的再塑造。AI正跳躍式地加速滲透進(jìn)各行各業(yè)，推動(dòng)一場(chǎng)新的生產(chǎn)力與創(chuàng)造力革命。AI產(chǎn)業(yè)鏈各環(huán)節(jié)參與者的角色功能、產(chǎn)品服務(wù)和應(yīng)用生態(tài)可能將發(fā)生變化。對(duì)此，艾...

大家常說(shuō)，作業(yè)是影響家庭和諧的“罪魁禍?zhǔn)?rdquo;。一到寫(xiě)作業(yè)時(shí)間，家里往往雞飛狗跳還會(huì)上演鬧劇，父母互相甩鍋，學(xué)生嚎啕大哭……如果讓AI加入，會(huì)擦出什么不一樣的火花？可以想象一下，情緒穩(wěn)定的AI伙伴耐心啟蒙輔導(dǎo)、學(xué)識(shí)淵博的AI知識(shí)庫(kù)為學(xué)生答疑解惑、AI助手實(shí)時(shí)批改認(rèn)真糾錯(cuò)。這一切已經(jīng)開(kāi)始成為現(xiàn)實(shí)，如今生成式AI、大模型等諸多前沿技術(shù)引發(fā)的技術(shù)革命，正在席卷各行各業(yè)，其中教育被看作最具潛力的賽道之一。AI正在為以...

不久前，我們推出了最強(qiáng)大的基礎(chǔ)模型Gemini。Gemini是一個(gè)多模態(tài)模型，它既可以接受文本輸入，也可以接受圖像輸入。我們?yōu)锳ndroid開(kāi)發(fā)者們介紹一種方法，以幫助您在設(shè)備上使用我們最小規(guī)模的模型：GeminiNano。GeminiNano可以通過(guò)AICore在特定設(shè)備上使用。AICore是一種處理模型管理、運(yùn)行時(shí)、安全功能等任務(wù)的系統(tǒng)服務(wù)，有助于簡(jiǎn)化開(kāi)發(fā)者的工作?，F(xiàn)在，我們將向您介紹訪問(wèn)GeminiPro模型的全新方法，該模型可以在Google的數(shù)據(jù)中...

一、引言知識(shí)圖譜和大型語(yǔ)言模型都是用來(lái)表示和處理知識(shí)的手段。不同于大型語(yǔ)言模型，知識(shí)圖譜中的知識(shí)通常是結(jié)構(gòu)化的，這樣的結(jié)構(gòu)讓其具有更強(qiáng)的準(zhǔn)確性和可解釋性。知識(shí)圖譜嵌入（KnowledgeGraphEmbedding，KGE）是一種將知識(shí)圖譜中的實(shí)體和關(guān)系轉(zhuǎn)化為低維度、連續(xù)的向量空間表示的技術(shù)。這種轉(zhuǎn)化使得復(fù)雜的關(guān)系和屬性能夠以向量形式表達(dá)，從而便于機(jī)器學(xué)習(xí)算法進(jìn)行處理。這些技術(shù)為各種知識(shí)密集型任務(wù)（例如信息檢索、問(wèn)答和...

一、引言現(xiàn)階段，程序代碼是解決基于大型語(yǔ)言模型（LLM）的復(fù)雜推理任務(wù)的有效的方式之一，這類方法通常被稱為"程序或代碼思維鏈"(programofthought)。與傳統(tǒng)思維鏈(chainofthought)方法相比，代碼思維鏈方法將復(fù)雜問(wèn)題分解為可執(zhí)行的代碼片段，并且利用代碼執(zhí)行器逐步解決子問(wèn)題，可以較大程度提升基于大型語(yǔ)言模型的推理能力。然而目前代碼程序數(shù)據(jù)本身的形式與大模型推理能力之間的相關(guān)性仍是未解之謎，我們對(duì)于構(gòu)造何種代碼...

一、引言視覺(jué)語(yǔ)言模型（VLMs）已在多種多模態(tài)理解和生成任務(wù)中展現(xiàn)了顯著的性能表現(xiàn)。然而，盡管這些多模態(tài)模型在廣泛的任務(wù)中表現(xiàn)出色，但是它們能否有效地捕獲結(jié)構(gòu)化知識(shí)(即理解對(duì)象間關(guān)系以及對(duì)象與其屬性間關(guān)系的能力)仍然是一個(gè)未解決的問(wèn)題。如圖（a）所示，我們?cè)诜治鯟LIP模型時(shí)發(fā)現(xiàn)，與圖像不匹配的標(biāo)題（Ahorseisridinganastronaut）相比，圖像與正確匹配的標(biāo)題（Anastronautisridingahorse）之間的CLIP分?jǐn)?shù)（即語(yǔ)義相...

一、引言知識(shí)圖譜嵌入(KGE)已被證明是解決知識(shí)圖補(bǔ)全(KGC)任務(wù)的有效方法。關(guān)系模式是指具有特定語(yǔ)義的關(guān)系、表示為圖形模式，是影響KGE模型性能的重要因素。雖然之前的工作從理論上分析了KGE模型在不同關(guān)系模式下的能力，并建立了更好的關(guān)系模式建模與更好的KGC性能之間的粗略聯(lián)系，但對(duì)關(guān)系模式上的KGE模型的全面定量分析仍然缺乏，因此不確定KGE對(duì)關(guān)系模式的理論支持如何有助于與該關(guān)系模式相關(guān)的三元組的性能。二、關(guān)系模式...

引言隨著人工智能的飛速發(fā)展，機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)，在過(guò)去幾十年中在許多領(lǐng)域和應(yīng)用中取得了顯著的成就。例如，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像分類和視覺(jué)對(duì)象識(shí)別方面的準(zhǔn)確性常常超過(guò)人類，推動(dòng)了自動(dòng)駕駛車輛、面部識(shí)別、手寫(xiě)識(shí)別、圖像檢索和遙感圖像處理等應(yīng)用的快速發(fā)展。同樣，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和基于Transformer的模型在序列學(xué)習(xí)和自然語(yǔ)言理解方面取得了成功，這些技術(shù)推動(dòng)了機(jī)器翻譯、語(yǔ)音識(shí)別和聊天機(jī)器人等應(yīng)用...

引言在自然語(yǔ)言處理（NLP）的眾多應(yīng)用場(chǎng)景中，大型語(yǔ)言模型（LargeLanguageModel,LLM）展現(xiàn)了其卓越的文本理解與生成能力，不僅在傳統(tǒng)的文本任務(wù)上成績(jī)斐然，更在生物學(xué)、計(jì)算化學(xué)、藥物研發(fā)等跨學(xué)科領(lǐng)域證明了其廣泛的應(yīng)用潛力。盡管如此，生物分子研究領(lǐng)域的特殊性—比如專用數(shù)據(jù)集的缺乏、數(shù)據(jù)標(biāo)注的高復(fù)雜度、知識(shí)的多元化以及表示方式的不統(tǒng)一—仍舊是當(dāng)前面臨的關(guān)鍵挑戰(zhàn)。針對(duì)這些問(wèn)題，本文提出MolInstructions，這是一...

引言基于知識(shí)圖譜嵌入的方法在實(shí)體對(duì)齊領(lǐng)域取得了巨大成功。本文以生成模型的視角重新解構(gòu)了目前實(shí)體對(duì)齊方法的范式，展示了其與生成模型間的相似之處，并從理論上揭示了現(xiàn)有的基于生成對(duì)抗網(wǎng)絡(luò)的方法的局限性。通過(guò)引入新的互變分自編碼器（MutualVAE）作為生成模型，本文構(gòu)建了一個(gè)生成式實(shí)體對(duì)齊框架（GEEA）。GEEA實(shí)現(xiàn)了知識(shí)圖譜之間的實(shí)體轉(zhuǎn)換，并且能夠從隨機(jī)噪聲中生成新的實(shí)體。通過(guò)理論分析、實(shí)體對(duì)齊實(shí)驗(yàn)，以及實(shí)體合...

引言藥物發(fā)現(xiàn)的核心環(huán)節(jié)之一是合成和設(shè)計(jì)具有理想化學(xué)特性的分子。隨著語(yǔ)言模型展現(xiàn)出在解析復(fù)雜分子分布方面的潛力，研究人員開(kāi)始嘗試將分子的SMILES描述符與預(yù)訓(xùn)練語(yǔ)言模型相結(jié)合。然而，SMILES描述符的語(yǔ)法特質(zhì)并不總能保障所生成化學(xué)結(jié)構(gòu)的有效性，經(jīng)常導(dǎo)致生成化學(xué)上無(wú)意義的字符串。除此之外，雖然分子語(yǔ)言模型在預(yù)訓(xùn)練過(guò)程中學(xué)習(xí)了大量的分子結(jié)構(gòu)信息，它們?nèi)噪y以準(zhǔn)確捕捉到現(xiàn)實(shí)世界中化學(xué)與生物特性的復(fù)雜關(guān)系。這使得...

一、引言隨著大型語(yǔ)言模型的興起，自然語(yǔ)言處理（NLP）社區(qū)面臨的主要挑戰(zhàn)之一是如何高效地對(duì)模型進(jìn)行微調(diào)。如果需要短期內(nèi)改變模型的某些行為，重新進(jìn)行參數(shù)微調(diào)可能會(huì)過(guò)于耗時(shí)和昂貴，在這種情況下，模型知識(shí)編輯（KnowledgeEditing）技術(shù)就顯得尤為重要。本文主要研究模型知識(shí)編輯的魯棒性，并重點(diǎn)探索兩個(gè)新問(wèn)題：知識(shí)沖突（KnowledgeConflict）和知識(shí)扭曲（KnowledgeDistortion）。二、背景本文研究的知識(shí)編輯方法均為修改...

一、引言多模態(tài)知識(shí)圖譜補(bǔ)全（MMKGC）通過(guò)將實(shí)體的結(jié)構(gòu)、視覺(jué)和文本信息納入知識(shí)圖譜的表示學(xué)習(xí)模型中，來(lái)預(yù)測(cè)多模態(tài)知識(shí)圖譜中缺失的三元組。在這個(gè)過(guò)程中，來(lái)自不同模態(tài)的信息將共同用于度量一個(gè)三元組的合理性?，F(xiàn)有的MMKGC方法往往默認(rèn)MMKG上的模態(tài)信息是完整的，或者采用簡(jiǎn)單的方法完成缺失模態(tài)信息的補(bǔ)全，忽視了實(shí)體之間模態(tài)信息的不平衡問(wèn)題，導(dǎo)致模態(tài)信息融合不充分以及原始模態(tài)信息的低效利用。模態(tài)信息的不平衡性主...

Sora生成的視頻效果好嗎？確實(shí)好。Sora算得上AGI發(fā)展歷程上的里程碑嗎？我個(gè)人覺(jué)得算。我們知道它效果好就行了，有必要知道Sora到底是怎么做的嗎？我覺(jué)得最好是每個(gè)人能有知情的選擇權(quán)，任何想知道的人都能夠知道，這種狀態(tài)比較好。那我們知道Sora到底是怎么做出來(lái)的嗎？不知道。馬斯克諷刺O(píng)penAI是CloseAI，為示道不同，轉(zhuǎn)頭就把Grok開(kāi)源了。且不論Grok效果是否足夠好，馬斯克此舉是否有表演成分，能開(kāi)源出來(lái)這行為就值得稱贊...