OpenAI、谷歌等一線大模型科學(xué)家公開課，斯坦福CS 25春季上新！
在斯坦福，有一門專門講 Transformer 的課程，名叫 CS 25。這門課曾經(jīng)邀請(qǐng)過 Geoffrey Hinton、Andrej Karpathy 以及 OpenAI 的 Hyung Won Chung、Jason Wei 等一線大模型研究科學(xué)家擔(dān)任講師，在 AI 社區(qū)引起廣泛關(guān)注。
最近，這門課又上新了。這一春季學(xué)期課程名為「CS25: Transformers United V5」，邀請(qǐng)了 Google DeepMind 推理團(tuán)隊(duì)創(chuàng)立者和現(xiàn)任負(fù)責(zé)人 Denny Zhou、OpenAI Canvas 項(xiàng)目負(fù)責(zé)人 Karina Nguyen、OpenAI 研究科學(xué)家 Hongyu Ren（任泓宇）、Meta 視頻生成團(tuán)隊(duì)研究科學(xué)家 Andrew Brown 等知名研究者，深入探討 AI 領(lǐng)域的最新突破。
而且，這門課是完全開放的，任何人都可以現(xiàn)場(chǎng)旁聽或加入 Zoon 直播，無需注冊(cè)或與斯坦福大學(xué)建立關(guān)聯(lián)。
- 課程地址：https://web.stanford.edu/class/cs25/recordings/
課程結(jié)束后，他們還會(huì)把課程的視頻上傳到官方 YouTube 賬號(hào)。目前，新學(xué)期視頻第一期已經(jīng)上傳。
整個(gè)學(xué)期的課程表如下：
想要聽直播的同學(xué)記得在太平洋夏令時(shí)間每周二下午 3:00 - 4:20（北京時(shí)間每周三上午 6:00 - 7:20）蹲守，具體信息請(qǐng)參考官方網(wǎng)站。
往期熱門課程
V2：Geoffrey Hinton——Representing Part-Whole Hierarchies in a Neural Network
AI 領(lǐng)域傳奇人物 Geoffrey Hinton（「深度學(xué)習(xí)教父」）分享了他對(duì)神經(jīng)網(wǎng)絡(luò)中部分-整體層次結(jié)構(gòu)的最新研究，提出了 GLOM 模型，旨在模擬人類視覺系統(tǒng)處理復(fù)雜場(chǎng)景的能力。
講座探討了 GLOM 如何通過動(dòng)態(tài)解析樹結(jié)構(gòu)增強(qiáng) Transformer 在視覺任務(wù)中的表現(xiàn)，解決自注意力機(jī)制的計(jì)算效率瓶頸。Hinton 結(jié)合深度學(xué)習(xí)的演變歷程，從感知機(jī)到 RNN 再到 Transformer，展望了神經(jīng)網(wǎng)絡(luò)在模擬認(rèn)知過程和提升視覺理解中的未來潛力。
- 視頻地址：https://www.youtube.com/watch?v=CYaju6aCMoQ&t=2s
V2：Andrej Karpathy——Introduction to Transformers
Andrej Karpathy（前 Tesla AI 總監(jiān)、OpenAI 研究員）系統(tǒng)介紹了 Transformer 架構(gòu)的原理與影響。他從 2017 年《Attention is All You Need》論文出發(fā)，拆解了自注意力機(jī)制（Self-Attention）、多頭注意力（Multi-Head Attention）及 Transformer 在大型語言模型（如 ChatGPT）中的核心作用。
講座還探討了 Vision Transformer（ViT）等跨領(lǐng)域應(yīng)用，并展望了模型高效化和多模態(tài)學(xué)習(xí)的未來。Karpathy 結(jié)合自身從斯坦福學(xué)生到業(yè)界先鋒的經(jīng)歷，回顧了深度學(xué)習(xí)從 RNN 到 Transformer 的演變。
- 視頻地址：https://www.youtube.com/watch?v=XfpMkf4rD6E
V3：Douwe Kiela——Retrieval Augmented Language Models
Douwe Kiela（Contextual AI 首席執(zhí)行官兼斯坦福符號(hào)系統(tǒng)客座教授）深入探討了檢索增強(qiáng)生成（Retrieval-Augmented Generation, RAG）作為解決大型語言模型（LLM）局限性的關(guān)鍵技術(shù)。講座介紹了 RAG 的基本概念，即通過外部檢索器提供上下文信息，緩解幻覺（hallucination）、信息時(shí)效性和定制化問題。
Kiela 回顧了語言模型的歷史，追溯至 1991 年的神經(jīng)語言模型，澄清了 OpenAI 并非首創(chuàng)的誤解，并調(diào)研了 RAG 的最新進(jìn)展，如 Realm、Atlas 和 Retro 架構(gòu)，分析其優(yōu)劣。他還探討了 RAG 與長(zhǎng)上下文模型的效率對(duì)比、指令微調(diào)（instruction tuning）的重要性以及未來的研究方向，如多模態(tài) RAG 和預(yù)訓(xùn)練優(yōu)化。
- 視頻地址：https://www.youtube.com/watch?v=mE7IDf2SmJg
V4：Jason Wei & Hyung Won Chung of OpenAI
OpenAI 研究科學(xué)家 Jason Wei 和 Hyung Won Chung 分享了關(guān)于大型語言模型（LLM）和 Transformer 架構(gòu)的洞見。
Jason Wei 探討了語言模型的直觀理解，強(qiáng)調(diào)下一詞預(yù)測(cè)作為大規(guī)模多任務(wù)學(xué)習(xí)的本質(zhì)，并分析了擴(kuò)展律（scaling laws）與個(gè)體任務(wù)的涌現(xiàn)能力。Hyung Won Chung 則從歷史視角審視 Transformer 架構(gòu)的演變，聚焦計(jì)算成本指數(shù)下降的驅(qū)動(dòng)作用，提出通過連接過去與現(xiàn)在預(yù)測(cè) AI 未來的統(tǒng)一視角。
兩位講者結(jié)合在 OpenAI 的工作經(jīng)驗(yàn)（如 FLAN-T5、Codex），展望了 Transformer 在多模態(tài)和通用 AI 中的潛力。
- 機(jī)器之心報(bào)道：AI研究的主要推動(dòng)力會(huì)是什么？ChatGPT團(tuán)隊(duì)研究科學(xué)家：算力成本下降
- 視頻地址：https://www.youtube.com/watch?v=3gb-ZkVRemQ
