由前OpenAI研究員DanielKokotajlo領(lǐng)銜撰寫的報(bào)告《AI2027》，并非遙遠(yuǎn)的科幻想象，而是立足于當(dāng)前人工智能發(fā)展趨勢、結(jié)合專家訪談與嚴(yán)謹(jǐn)邏輯推演，對未來幾年（直至2027年）可能發(fā)生的劇變進(jìn)行的一次“沙盤推演”（即模擬預(yù)演）。這份報(bào)告的核心論斷極具沖擊力，通用人工智能（AGI）乃至超越人類智慧的超級智能（ASI）可能比許多人預(yù)期的更早到來，其對人類文明的重塑力量將遠(yuǎn)超工業(yè)革命，而我們的社會對此卻普遍缺乏認(rèn)知和準(zhǔn)備...

通用人工智能（GPAI）時(shí)代的風(fēng)險(xiǎn)與挑戰(zhàn)通用人工智能（GPAI）系統(tǒng)，憑借其廣泛的應(yīng)用能力，正迅速滲透到我們生活的方方面面。這些基于基礎(chǔ)模型并服務(wù)于多種用途的軟件系統(tǒng)，已擁有龐大的用戶群體。一些GPAI系統(tǒng)每周活躍用戶已超過3億。同時(shí)，GPAI系統(tǒng)在安全和權(quán)利影響領(lǐng)域的應(yīng)用也日益廣泛，如醫(yī)療保健、金融、教育和司法等(Maragnoetal.,2023;Young,2024;PerezCerrolazaetal.,2024)。然而，GPAI系統(tǒng)的廣泛應(yīng)用也伴隨著巨大的潛...

想象一下十七世紀(jì)的歐洲，那是一個(gè)思想迷霧重重的時(shí)代。古老的經(jīng)院哲學(xué)大廈搖搖欲墜，知識的海洋里充滿了相互矛盾的學(xué)說和難以證實(shí)的觀點(diǎn)。就在這時(shí)，勒內(nèi)·笛卡爾，像一位孤獨(dú)的燈塔看守人，點(diǎn)亮了近代哲學(xué)的“理性之光”。在他的著作《談?wù)劮椒ā分?，他進(jìn)行了一場驚心動魄的思想遠(yuǎn)征：懷疑一切，直至找到那個(gè)絕對不可動搖的立足點(diǎn)——“我思故我在”（Cogito,ergosum）。以此為基石，他試圖用嚴(yán)謹(jǐn)?shù)姆椒?、清晰的理性，為人?..

送孩子上補(bǔ)習(xí)班的路上，孩子突然和我說起來白馬是不是馬的問題。我驚異于這個(gè)問題的來源，她說是看到了雜志上關(guān)于公孫龍子的“白馬非馬”和“離堅(jiān)白”的介紹和討論，才有這樣的問題。我拼湊著腦袋里的蛛絲馬跡，試圖解釋公孫龍子的學(xué)說。雖然沒有給孩子解釋明白這個(gè)如何抽象出來的閉環(huán)邏輯，但是自己卻突然意識到名和實(shí)之間的邏輯關(guān)聯(lián)不就是現(xiàn)在的大語言模型所正在探索的領(lǐng)域嗎？于是歸納思路，便有此文。回顧一下，歷史上的抽...

摘要本文針對安全多方計(jì)算（MPC）框架下通用矩陣乘法（GEMM）運(yùn)算的性能瓶頸，提出一種全新的MPCGEMM實(shí)現(xiàn)方案。該方案的核心思想在于：基于加法秘密共享重構(gòu)DeepSeekDeepGEMM的CUDAkernel，將MPC協(xié)議的邏輯與DeepGEMM的底層優(yōu)化深度融合，消除MPC協(xié)議與GPU計(jì)算之間的“兩張皮”現(xiàn)象。方案采用INT8FP8數(shù)據(jù)表示、秘密共享運(yùn)算的kernel級實(shí)現(xiàn)、Hopper架構(gòu)優(yōu)化（如適用）、GPU并行Beaver三元組生成以及JIT編譯等關(guān)鍵技術(shù)。本文將詳...

引言：測試時(shí)計(jì)算擴(kuò)展的興起與挑戰(zhàn)近年來，大型語言模型（LLMs）在自然語言處理領(lǐng)域取得了舉世矚目的成就，其性能的飛躍在很大程度上得益于大規(guī)模自監(jiān)督預(yù)訓(xùn)練和不斷增長的模型規(guī)模。然而，模型規(guī)模的不斷擴(kuò)大也帶來了訓(xùn)練成本和計(jì)算資源需求的急劇增加，這使得進(jìn)一步提升模型性能變得越來越困難。為了在不進(jìn)一步增加模型規(guī)模的前提下提升性能，一種新的范式——測試時(shí)計(jì)算擴(kuò)展（TestTimeComputationExtension）——應(yīng)運(yùn)而生。...

1.深度學(xué)習(xí)的算力饑渴與HPC的成本困境深度學(xué)習(xí)的浪潮，正以勢不可擋的姿態(tài)席卷而來。從圖像識別領(lǐng)域的AlexNet和ResNet，到自然語言處理領(lǐng)域的Transformer，再到如今參數(shù)規(guī)模動輒千億、萬億的大型語言模型(LLM)，如GPT3和PaLM，以及混合專家模型(MoE)和多模態(tài)模型，深度學(xué)習(xí)模型的能力在不斷突破，但其背后對計(jì)算資源的需求也呈現(xiàn)出爆炸式的增長。高性能計(jì)算(HPC)集群，作為支撐深度學(xué)習(xí)訓(xùn)練的基石，其重要性日益凸顯。然而，傳...

1.引言人工智能(AI)正迅速滲透到我們生活的方方面面，并在各個(gè)領(lǐng)域展現(xiàn)出巨大的潛力。尤其是在信貸、住房和醫(yī)療等高風(fēng)險(xiǎn)領(lǐng)域，AI驅(qū)動的自動化決策(ADM)系統(tǒng)正發(fā)揮著越來越重要的作用。這些系統(tǒng)能夠高效地處理海量數(shù)據(jù)，并根據(jù)預(yù)設(shè)算法做出決策，從而提高效率、降低成本。然而，ADM系統(tǒng)的廣泛應(yīng)用也引發(fā)了人們對其透明度和問責(zé)制的擔(dān)憂。由于許多ADM系統(tǒng)基于復(fù)雜的機(jī)器學(xué)習(xí)模型，例如深度神經(jīng)網(wǎng)絡(luò)，其決策過程往往難以理解，甚至...

1.引言近年來，隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，人工智能(AI)在諸多領(lǐng)域取得了突破性進(jìn)展。然而，傳統(tǒng)的深度學(xué)習(xí)模型在處理需要復(fù)雜推理的任務(wù)時(shí)仍然面臨挑戰(zhàn)。例如，在面對數(shù)學(xué)題、邏輯謎題或科學(xué)問題時(shí)，簡單地依靠模式識別和函數(shù)擬合難以獲得令人滿意的結(jié)果。為了解決這個(gè)問題，研究人員開始探索將深度學(xué)習(xí)與符號推理相結(jié)合，從而賦予AI系統(tǒng)更強(qiáng)的推理能力，即慢思考推理。慢思考推理強(qiáng)調(diào)對問題進(jìn)行深入分析和逐步求解，而非僅...

1.引言近年來，大型語言模型（LargeLanguageModels,LLMs）的參數(shù)規(guī)模呈現(xiàn)指數(shù)級增長趨勢，展現(xiàn)出強(qiáng)大的通用智能，在眾多自然語言處理任務(wù)上取得了突破性進(jìn)展。然而，這些龐大的模型也伴隨著高昂的訓(xùn)練成本、巨大的計(jì)算資源需求以及難以部署等問題，極大地限制了其廣泛應(yīng)用。為了解決這些問題，業(yè)界開始探索更加高效、輕量化的模型架構(gòu)和訓(xùn)練方法。在這樣的背景下，微軟研究院機(jī)器學(xué)習(xí)基礎(chǔ)團(tuán)隊(duì)另辟蹊徑，推出了一系列名為“Phi”...