一文帶你了解【SFT微調(diào)】與【Unsloth】
在當(dāng)下流行的幾種大模型微調(diào)方法中,大家經(jīng)常會看到談?wù)揝FP與Unsloth的文章,那我們應(yīng)該如何了解它們?它們的技術(shù)特點又有哪些?各自應(yīng)用在哪些模型微調(diào)的場景呢?本篇我們帶著這些問題,一起來了解一下。一、SFT微調(diào)技術(shù)介紹監(jiān)督微調(diào)(SupervisedFinetuning,SFT)是一種遷移學(xué)習(xí)(TransferLearning)技術(shù),指的是在已經(jīng)預(yù)訓(xùn)練好的模型(例如大語言模型中的GPT、BERT等)基礎(chǔ)上,使用帶有人工標(biāo)注標(biāo)簽的監(jiān)督數(shù)據(jù),對模型進(jìn)行進(jìn)...