1.快速總覽研究人員提出了一種新穎的位置編碼方法,稱為上下文位置編碼(下文稱之為CoPE),它有別于基于標(biāo)記的傳統(tǒng)位置編碼范式。它以上下文依賴的方式測量位置,在按位置尋址時(shí)會(huì)更加自由它在如下的任務(wù)中獲得不錯(cuò)的收益:FlipFlop,SelectiveCopy,Counting,LanguageModeling,andCodeModelingtasks它優(yōu)于現(xiàn)有方法,尤其是在域外泛化場景它有可能改善其他領(lǐng)域的編碼,例如視頻和語音。在這些領(lǐng)域,基于Token位置的編碼不太合適...