今年，DeepMind 公布了大約 2.2 億種蛋白質的預測結構，它幾乎涵蓋了 DNA 數(shù)據(jù)庫中已知生物體的所有蛋白質?，F(xiàn)在，另一家科技巨頭 Meta 正在填補另一空白，微生物領域。

簡單來說，Meta 使用 AI 技術預測了約 6 億種蛋白質結構，這些蛋白質來自細菌和其他尚未被表征的微生物。團隊負責人 Alexander Rives 表示：「這些蛋白質是我們所知最少的結構，它們是非常神秘的蛋白質。我認為這些發(fā)現(xiàn)為深入了解生物學提供了潛力?！?/span>

通常，語言模型是在大量文本上進行訓練的。Meta 為了將語言模型應用于蛋白質，Rives 及其同事將已知的蛋白質序列作為輸入，這些蛋白質由 20 種氨基酸組成，并用不同的字母表示。然后，該網(wǎng)絡在遮蔽一定比例氨基酸的情況下學會了自動補全蛋白質。

Meta 將這個網(wǎng)絡命名為 ESMFold。雖然 ESMFold 預測準確性不如 AlphaFold，但在預測結構方面，它比 AlphaFold 快約 60 倍。這一速度意味著可以將蛋白質結構預測擴展到更大的數(shù)據(jù)庫。

• 論文地址：https://www.biorxiv.org/content/10.1101/2022.07.20.500902v2
• 項目地址：https://github.com/facebookresearch/esm

如今，作為測試，Meta 決定將他們的模型應用于宏基因組 DNA 數(shù)據(jù)庫，這些 DNA 全部來自環(huán)境，包括土壤、海水、人類腸道、皮膚和其他微生物棲息地。Meta AI 宣布推出包含 6 億多個蛋白質的 ESM 宏基因組圖譜（ESM Metagenomic Atlas），它是首個蛋白質宇宙「暗物質」的綜合視圖。這還是最大的高分辨率預測結構數(shù)據(jù)庫，比任何現(xiàn)有的蛋白質結構數(shù)據(jù)庫都要大 3 倍，并且是第一個全面、大規(guī)模地涵蓋宏基因組蛋白質的數(shù)據(jù)庫。

Meta 團隊總共預測了超過 6.17 億個蛋白質結構，只花了兩周的時間。Rives 說，預測是免費的，任何人都可以使用，就像模型的底層代碼一樣。

交互版本地址：https://esmatlas.com/explore?at=1%2C1%2C21.999999344348925

舉例而言，下圖為 ESMFold 對 PET 酶的預測。

引言

眾所周知，蛋白質作為復雜且動態(tài)的分子，其由基因編碼，主要負責生命基本過程。蛋白質在生物學中有著驚人作用。比如，人類眼睛中的視桿和視錐細胞可以感知光線，因而我們能看到外面的世界；構成聽覺和觸覺基礎的分子傳感器；植物中把光能轉化為化學能的復雜分子；驅動微生物和人類肌肉運動的「馬達」；分解塑料的酶；保護我們免受疾病的抗體，等等這些都是蛋白質。

1998 年，來自威斯康辛大學植物病理學部門的 Jo Handelsman 首次提出宏基因組學（Metagenomics）這一概念，它是源于將來自環(huán)境中基因集可以在某種程度上當成單個基因組研究分析的想法，而宏的英文正是 meta-，也翻譯為元。

宏基因組學揭示了數(shù)十億個對科學來說是新的蛋白質序列，并首次編入由 NCBI、歐洲生物信息學研究所 (European Bioinformatics Institute) 和聯(lián)合基因組研究所 (Joint Genome Institute) 等公共項目編制的大型數(shù)據(jù)庫中。

Meta AI 開發(fā)的新的蛋白質折疊方法，該方法利用大型語言模型，在宏基因組數(shù)據(jù)庫中（具有數(shù)億蛋白質）創(chuàng)建了首個全面的蛋白質結構視圖。Meta 發(fā)現(xiàn)，相對于現(xiàn)有的 SOTA 蛋白質結構預測方法，語言模型可以將預測蛋白質原子級三維結構的速度提高 60 倍。這一進展將有助于加速蛋白質結構理解的新時代，這是首次人類有可能了解基因測序技術正在編目的數(shù)十億蛋白質的結構。

解鎖隱藏的自然世界：宏基因組結構空間的首個綜合視圖

我們知道，基因測序的進步使得對數(shù)十億個宏基因組蛋白序列進行編目成為可能。但是，通過實驗確定數(shù)以億計蛋白質的 3D 結構遠遠超出了時間密集型實驗室技術的范圍，例如 X 射線晶體學，它可能需要數(shù)周乃至數(shù)年的時間來檢測單個蛋白質。計算方式可以讓我們深入了解使用實驗技術無法實現(xiàn)的宏基因組學蛋白質。

ESM 宏基因組圖譜將使科學家能夠在數(shù)億蛋白質的尺度上搜索和分析宏基因組蛋白質的結構。這可以幫助識別以前未被表征的結構，尋找遙遠的進化關系，并發(fā)現(xiàn)可用于醫(yī)學和其他應用的新蛋白質。

如下為一張包含數(shù)以萬計高置信度預測的圖譜，展示了與目前已知結構的蛋白質的相似性。并且，該圖像首次顯示了完全未知的蛋白質結構空間的更大區(qū)域。

學習閱讀生物學語言

如下圖所示，ESM-2 語言模型經(jīng)過訓練，可以預測進化過程中被序列掩蓋的氨基酸。Meta AI 發(fā)現(xiàn)，作為訓練的結果，蛋白質結構的信息出現(xiàn)在該模型的內部狀態(tài)中。這實在令人驚訝，因為該模型僅在序列上進行了訓練。

?

就像論文或信件的文本一樣，蛋白質可以寫成字符序列。其中，每個字符對應 20 種標準化學元素（氨基酸）中的一種，每種又具有不同的特性，它們是蛋白質的構建塊。這些構建塊能夠以天文數(shù)字的不同方式組合在一起，例如對于由 200 個氨基酸組成的蛋白質，存在 20^200 個可能的序列，這要比可見宇宙中的原子數(shù)量還要多。每個序列都折疊成 3D 形狀（但并非所有序列都會折疊成連貫的結構，許多序列折疊成無序形式），正是這種形狀在很大程度上決定了蛋白質的生物學功能。

學習閱讀這種生物學語言帶來了很大挑戰(zhàn)。雖然蛋白質序列和文本段落都可以寫成字符，但它們之間存在著深刻而根本性的差異。蛋白質序列描述了一個分子的化學結構，該分子根據(jù)物理定律折疊成復雜的 3D 形狀。

蛋白質序列包含了傳遞蛋白質折疊結構信息的統(tǒng)計模式。舉例而言，如果一個蛋白質中的兩個位置共同進化，或者換言之，如果其中一個位置出現(xiàn)某種氨基酸，通常與另一個位置的某種氨基酸配對，這可能意味著這兩個位置在折疊結構中相互作用。這類似于拼圖游戲中的兩塊拼圖，進化必須選擇在折疊結構中拼合在一起的氨基酸。這又意味著我們通?？梢酝ㄟ^觀察蛋白質序列中的模式來推斷蛋白質的結構。

ESM 使用 AI 來學習閱讀這些模式。2019 年，Meta AI 提供證據(jù)證明語言模型學習了蛋白質的特性，例如它們的結構和功能。通過一種被稱為掩碼語言建模的自我監(jiān)督學習形式，Meta AI 在數(shù)百萬個天然蛋白質的序列上訓練了一個語言模型。使用這種方法，模型必須正確填寫文本段落中的空白，例如「To _ or not to , that is the _____」。

之后，Meta AI 訓練了一個語言模型來填補蛋白質序列中的空白。他們發(fā)現(xiàn)，蛋白質結構和功能的信息在這一訓練中浮現(xiàn)了出來。2020 年，Meta 發(fā)布了一個 SOTA 蛋白質語言模型 ESM1b，用于各種應用，包括幫助科學家預測 COVID-19 的演變以及發(fā)現(xiàn)疾病的遺傳原因。

現(xiàn)在，Meta AI 擴展了這種方法，用來創(chuàng)建下一代蛋白質語言模型 ESM-2，它的參數(shù)為 150 億，是迄今為止最大的蛋白質語言模型。他們發(fā)現(xiàn)，當模型參數(shù)從 800 萬放大到 150 億時，內部表示中會出現(xiàn)信息，從而能夠以原子分辨率進行 3D 結構預測。

將蛋白質折疊實現(xiàn)數(shù)量級加速

在下圖中，隨著模型的擴大，高分辨率的蛋白質結構出現(xiàn)。同時隨著模型的縮放，蛋白質結構的原子分辨率圖像中會出現(xiàn)新的細節(jié)。

使用當前 SOTA 計算工具，在實際時間范圍內預測數(shù)億蛋白質序列結構可能花費數(shù)年時間，即便用上主要研究機構的資源也是如此。因此，想要在宏基因組尺度上進行預測，預測速度的突破至關重要。

Meta AI 發(fā)現(xiàn)使用蛋白質序列的語言模型大大加快了結構預測的速度，最高提升 60 倍。這足以在短短幾周內對整個宏基因組數(shù)據(jù)庫做出預測，并且可以擴展到比我們當前發(fā)布的數(shù)據(jù)庫大得多的數(shù)據(jù)庫。事實上，這種新的結構預測能力能夠在短短兩周內，在大約 2000 個 GPU 組成的集群上預測超過 6 億多個宏基因組蛋白的序列。

此外，當前 SOTA 結構預測方法需要搜索大型蛋白質數(shù)據(jù)庫以識別相關序列。這些方法實際上需要一整組進化相關的序列作為輸入，以便它們可以提取與結構相關的模式。Meta AI 的 ESM-2 語言模型在其對蛋白質序列的訓練過程中學習這些進化模式，進而能夠直接從蛋白質序列中對 3D 結構進行高分辨率預測。

下圖展示了使用 ESM-2 語言模型進行蛋白質折疊。箭頭從左到右顯示了網(wǎng)絡中從語言模型到折疊 trunk 再到結構模塊的信息流，最后輸出 3D 坐標和置信度。

更多詳細內容請參閱原文。

博客鏈接：https://ai.facebook.com/blog/protein-folding-esmfold-metagenomics/