DeepSeekV3的MultiTokenPrediction到底在做什么？這個問題在大模型面試中經(jīng)常被問到，屬于DeepSeek的高頻面試題。所以這篇文章我們就來看看，如果你在面試現(xiàn)場被問到這個問題，應(yīng)該如何作答？1.面試官心理分析首先老規(guī)矩，我們還是來分析一下面試官的心理，面試官問這個問題，它其實主要是想考察你3個方面：第一，為什么要做MTP？你是否知道這個算法背后的動機？第二，之前的工作MTP是怎么做的？DeepSeek肯定不是這個方法的首創(chuàng)...

DeepSeek對MoE架構(gòu)做了哪些改進？跟Mixtral的MoE有什么不同？這個是我的學(xué)員最近面試某個大模型獨角獸遇到的一道面試題。1.面試官心理分析這篇文章，我們就從面試官的角度來分析一下，如果你在面試現(xiàn)場被問到這個題目，應(yīng)該如何作答？面試官問這個問題，它其實是想考你什么？第一，Mixtral大模型采用的MoE架構(gòu)長什么樣？第二，就是DeepSeek的MoE做了哪些改進，這樣改進的動機是什么？2.面試題解析要回答DeepSeek的MoE改進，我們...

大家好，我是丁師兄。這篇文章，我將結(jié)合自己在大模型領(lǐng)域的經(jīng)驗，給大家詳細(xì)聊聊新人應(yīng)該如何轉(zhuǎn)行大模型賽道？比如大模型都有哪些方向？各方向的能力要求和崗位匹配？新手轉(zhuǎn)行大模型常踩的坑和常見的誤區(qū)？以及入行大模型最順滑的路徑？如果你是正打算入行大模型的校招社招同學(xué)，請一定看完，可能會讓你在入行大模型的路上，少走很多彎路。1.大模型都有哪些方向？如果你在求職網(wǎng)站搜索"大模型"關(guān)鍵詞，看一下招聘JD，基本可以...

想象一下，就像咱們家里的水管，正常來講水應(yīng)該嘩嘩地流，可要是這管子太窄了，水就只能滴滴答答，讓人干著急！當(dāng)下咱們面臨的大模型服務(wù)吞吐率太小，不就類似于這窄窄的水管嗎？當(dāng)面試官問你有沒有辦法把大模型服務(wù)吞吐這個“管子”拓寬，讓數(shù)據(jù)像奔騰的江河一樣順暢流淌，你準(zhǔn)備怎么解決？1.面試官心理分析當(dāng)面試官問你這個問題的時候，其實面試官主要是想考驗?zāi)闳缦?個方面：第一，在實際業(yè)務(wù)中，你有沒有做過大模型服務(wù)性能...

?相信你只要了解過大模型，就聽過token這個詞兒，大家在用ChatGPT的API時，是按token計費的。例如，你提問消耗了100token，ChatGPT根據(jù)你的輸入，回答了200token，那么一共消費的token數(shù)就是300。有時候看一些偏技術(shù)的文章，一些模型后面帶著8k、32k，甚至100k，這也是指模型能處理的最大token長度。既然token在大模型領(lǐng)域這么高頻出現(xiàn)，我們不禁要問：什么是token？它是怎么計算的？一個token是指一個字嗎？中文和英文的token...

工作以后，對于做業(yè)務(wù)的同學(xué)，一個避免不了的話題就是“badcase”，在大模型時代，當(dāng)然也是避免不了的問題。對于很多沒接觸過實際業(yè)務(wù)的同學(xué)可能認(rèn)為大模型足夠強，強到可以很好的fit用戶的所有需求，就算fit不了，也可以微調(diào)模型來解決。但實際情況是怎樣呢？其實不管是大模型，還是專有領(lǐng)域小模型，一定存會各式各樣模型解決不了的badcase。具體原因很多，以智能客服系統(tǒng)為例，用戶的咨詢分布也符合二八原則，即用戶80%的咨詢...

?SFT可以說是LLM的基本操作了，如果只是想把SFT跑起來是非常簡單的，只需要構(gòu)造inputids和labels，然后就可以把訓(xùn)練跑起來。然而，這樣的訓(xùn)練效率實際上非常低。所以在訓(xùn)練時，通常有兩個加速方法：多輪合并packing無論是哪種方法，加速后都需要保證loss和原來是等價的。本文主要介紹這兩種加速方法，以及l(fā)oss計算時遇到的問題。1.多輪合并假設(shè)我們有一個對話，其中user和bot交互了3輪，我們可以構(gòu)建三個樣本：inputids就是對...