“歐米伽未來研究所”關(guān)注科技未來發(fā)展趨勢，研究人類向歐米伽點(diǎn)演化過程中面臨的重大機(jī)遇與挑戰(zhàn)。將不定期推薦和發(fā)布世界范圍重要科技研究進(jìn)展和未來趨勢研究。

Questel是一家世界著名端到端知識(shí)產(chǎn)權(quán)解決方案提供商，為超過20,000家客戶和150萬用戶提供服務(wù)，覆蓋30個(gè)國家。主要提供軟件套件，用于發(fā)明和知識(shí)產(chǎn)權(quán)資產(chǎn)的搜索、分析和管理。

簡述

深度學(xué)習(xí)和大型語言模型（LLMs）專利的關(guān)鍵趨勢圖示

深度學(xué)習(xí)領(lǐng)域知識(shí)產(chǎn)權(quán)保護(hù)的激烈競爭，全球DL領(lǐng)域的專利活動(dòng)顯著增長，自2017-2018年以來，LLMs逐漸嶄露頭角。2022年OpenAI推出ChatGPT標(biāo)志著一個(gè)重要的轉(zhuǎn)折點(diǎn)，加速了公眾認(rèn)知以及專利申請的步伐。這場全球范圍內(nèi)的知識(shí)產(chǎn)權(quán)競爭凸顯了其戰(zhàn)略重要性，其中中國和美國領(lǐng)先：

• 中國：以百度等企業(yè)為核心，由頂尖高校支持的集中式創(chuàng)新生態(tài)系統(tǒng)。
• 美國：多元化、分散式的創(chuàng)新格局，由IBM、谷歌和微軟等科技巨頭推動(dòng)。

LLM領(lǐng)域的整合與機(jī)會(huì)，LLM領(lǐng)域由少數(shù)幾個(gè)主要玩家主導(dǎo)——包括谷歌、百度、騰訊、微軟、亞馬遜和阿里巴巴，其專利組合展現(xiàn)了其全球影響力。幾項(xiàng)顯著的趨勢如下：

• 谷歌、百度、微軟和騰訊正積極保護(hù)并推進(jìn)其產(chǎn)品，凸顯了這一仍被視為新興技術(shù)的市場成熟度。這些公司在所有列出的應(yīng)用領(lǐng)域中均為專利申請的領(lǐng)導(dǎo)者，展示了其全面的戰(zhàn)略和對LLM應(yīng)用全譜系的承諾。
• 醫(yī)療健康作為增長領(lǐng)域：LLMs在診斷、藥物研發(fā)和個(gè)性化醫(yī)療方面推動(dòng)了突破性進(jìn)展，使醫(yī)療健康成為一個(gè)具有變革性的領(lǐng)域。
• 擴(kuò)大行業(yè)影響力：隨著計(jì)算效率和數(shù)據(jù)質(zhì)量的改進(jìn)，LLMs迅速與市場需求對接，正在重塑金融、教育和網(wǎng)絡(luò)安全等行業(yè)。

報(bào)告綜述

深度學(xué)習(xí)：基于實(shí)例學(xué)習(xí)而非規(guī)則學(xué)習(xí)，人工智能正在以驚人的速度變革，推動(dòng)了一場前所未有的創(chuàng)新浪潮，這將在本報(bào)告中詳細(xì)闡述。在AI的表面之下，是由機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)（DL）等技術(shù)交織而成的復(fù)雜體系。這些層次相互結(jié)合，推動(dòng)了突破性的進(jìn)步，為該領(lǐng)域的快速演變作出了貢獻(xiàn)。

圖1 - 人工智能的結(jié)構(gòu)

2021年，我們在關(guān)于深度學(xué)習(xí)的研究中引用了Gartner 2020年技術(shù)成熟度曲線（Hype Cycle），以展示AI各個(gè)部分的成熟度和發(fā)展情況。將當(dāng)時(shí)的快照與2024年的技術(shù)成熟度曲線對比，可以發(fā)現(xiàn)顯著的演變（每個(gè)階段的描述見附錄）。例如，“深度學(xué)習(xí)”在不到四年的時(shí)間內(nèi)，從“幻滅期”轉(zhuǎn)變?yōu)椤吧a(chǎn)力高原期”（主流采用階段）。然而，最引人注目的變化是生成式AI（Generative AI）的迅猛崛起，以大型語言模型（LLMs）為驅(qū)動(dòng)。2020年還只是處于“創(chuàng)新觸發(fā)”階段的生成式AI，到2024年已經(jīng)快速邁入“期望膨脹頂峰”的后期階段。在專利領(lǐng)域，這一階段尤為關(guān)鍵，應(yīng)該被視為獲得專利并加強(qiáng)專利組合的機(jī)會(huì)，以提高未來市場的競爭優(yōu)勢。

圖1 - Gartner人工智能技術(shù)成熟度曲線2020年與2024年對比

LLM的崛起：革新信息處理和生成方式，LLMs是生成式AI熱潮的核心。這些模型由深度學(xué)習(xí)驅(qū)動(dòng)，旨在處理、理解并生成類人文本。但其能力遠(yuǎn)不止于此——它們可以分析數(shù)據(jù)、解讀復(fù)雜模式并以一種類似人類的方式提供見解。這些模型基于包含數(shù)十億甚至數(shù)萬億參數(shù)的海量數(shù)據(jù)集進(jìn)行訓(xùn)練，正在重新定義數(shù)據(jù)處理的可能性。

• 規(guī)模：LLMs基于龐大而多樣的數(shù)據(jù)集構(gòu)建，具備無與倫比的學(xué)習(xí)能力和適應(yīng)性。
• 語境掌握：它們擅長理解語言的細(xì)微差別，從語義細(xì)節(jié)到整個(gè)段落的流暢性。
• 文本生成：無論是撰寫文章、回答問題還是生成對話，LLMs都能生成連貫、相關(guān)且吸引人的內(nèi)容。
• 多功能性：其應(yīng)用涵蓋內(nèi)容生成、翻譯、情感分析、聊天機(jī)器人等多個(gè)領(lǐng)域。

我們探討的關(guān)鍵問題包括：

• 哪些國家處于LLM創(chuàng)新的前沿？
• 哪些公司和研究機(jī)構(gòu)正在推動(dòng)進(jìn)展，誰在全球范圍內(nèi)處于領(lǐng)先地位？
• LLM的主要應(yīng)用領(lǐng)域是什么，相關(guān)知識(shí)產(chǎn)權(quán)歸誰所有？

通過回答這些問題，我們旨在提供對LLM專利格局的全面理解，挖掘新的機(jī)會(huì)和視角，以指導(dǎo)利益相關(guān)者在這一前所未有的創(chuàng)新時(shí)代做出明智的戰(zhàn)略決策。

方法論

1. 數(shù)據(jù)來源與檢索策略

本研究使用的主要數(shù)據(jù)來源是 FamPat 全球?qū)＠麛?shù)據(jù)庫，通過 Orbit Intelligence 檢索工具進(jìn)行檢索。FamPat 是一個(gè)全球?qū)＠暾埡褪跈?quán)專利的集合，基于簡單專利族進(jìn)行組織，涵蓋全球 100 多個(gè)專利機(jī)構(gòu)，并包括來自 22 個(gè)專利局的可檢索全文，由 Questel 提供。由于每條 FamPat 記錄可能包含許多具有不同日期的單獨(dú)發(fā)布事件，本報(bào)告采用每個(gè)專利族的 最早已知首次提交專利局的日期 作為參考。這一日期被視為專利族的代表性成員日期，用于標(biāo)識(shí)專利族。

首次提交專利局（Office of First Filing, OFF） 指的是某項(xiàng)發(fā)明的第一份申請，當(dāng)這份申請?jiān)谀硨＠痔峤粫r(shí)，它會(huì)成為“優(yōu)先權(quán)申請”，而事件發(fā)生的日期則定義為 優(yōu)先權(quán)日期。優(yōu)先權(quán)國家是指首次提交的國家。

報(bào)告中的表格和圖表均使用優(yōu)先權(quán)日期（除非另有說明），因?yàn)樗梢宰顪?zhǔn)確地反映發(fā)明活動(dòng)。專利來源的定義（即專利族的發(fā)源地）基于首次提交專利局（OFF）。需要注意的是，這一定義并非百分之百準(zhǔn)確，但仍然提供了一種有用且公平的方法來識(shí)別實(shí)體的通常優(yōu)先權(quán)國家，這通常與其本土專利局一致。

每個(gè)專利族與一個(gè)或多個(gè)實(shí)體相關(guān)聯(lián)，這些實(shí)體統(tǒng)稱為專利權(quán)人。如果同一專利族中的專利由多個(gè)所有者持有，則將該專利族歸屬于所有相關(guān)實(shí)體。為了提升可讀性并提供清晰的概覽，本報(bào)告對提及的申請人進(jìn)行了系統(tǒng)性整理，并將其歸屬于各自的母公司。子公司和關(guān)聯(lián)實(shí)體被歸入其母公司，以反映統(tǒng)一的所有權(quán)結(jié)構(gòu)。這一歸類過程結(jié)合了自動(dòng)化（通過 Orbit Intelligence 數(shù)據(jù)庫）和人工方法完成，并基于報(bào)告創(chuàng)建時(shí)公開的最佳信息進(jìn)行操作。

2. 分類體系

本專利分析以深度學(xué)習(xí)（DL）為中心，特別關(guān)注 大型語言模型（LLMs）。檢索方法結(jié)合了多種策略，包括深度學(xué)習(xí)相關(guān)的關(guān)鍵詞和技術(shù)，以及相關(guān)的專利分類，例如 G06N3/02（使用神經(jīng)網(wǎng)絡(luò)模型的計(jì)算機(jī)系統(tǒng)）。

為了確保結(jié)果在全面性和準(zhǔn)確性之間達(dá)到平衡，檢索中采用了布爾邏輯操作符以及迭代優(yōu)化過程。這種系統(tǒng)化的方法確保了分析數(shù)據(jù)集的穩(wěn)健性和可靠性。

雖然專利未必總是明確提及具體的應(yīng)用，但對這些專利中描述的應(yīng)用進(jìn)行探索可以提供有價(jià)值的見解。與企業(yè)通信或營銷材料相比，這種方法為當(dāng)前熱門應(yīng)用提供了一個(gè)獨(dú)特而互補(bǔ)的視角。

為了提供更深入的理解，我們參考了領(lǐng)域特定的文獻(xiàn)，匯編了一個(gè)全面的 LLMs 應(yīng)用清單。該清單突出了LLMs在各個(gè)領(lǐng)域的潛力，提供了新鮮的視角和可操作的見解，以幫助解讀這一快速發(fā)展的技術(shù)。應(yīng)用清單及其描述見報(bào)告末尾的附錄。

深度學(xué)習(xí)全球?qū)＠窬?/h3>

1. 專利申請趨勢

爆炸性增長：深度學(xué)習(xí)的熱潮仍在繼續(xù)！我們對2011-2023年這12年的專利活動(dòng)進(jìn)行了分析，幾乎完整地呈現(xiàn)了深度學(xué)習(xí)專利活動(dòng)的顯著演化?，F(xiàn)代意義上的深度學(xué)習(xí)概念約在2011年形成，自那時(shí)以來，該領(lǐng)域已出現(xiàn)了 311,000個(gè)專利族。

在我們之前的研究中（圖中淺藍(lán)色曲線所示），深度學(xué)習(xí)專利活動(dòng)的快速增長已經(jīng)令人印象深刻，尤其是在技術(shù)浪潮初期，年增長率接近 50%。

最新趨勢： 截至2023年，盡管增長速度略有放緩，但仍然保持了顯著的增長態(tài)勢：2019-2023年的年均復(fù)合增長率（CAGR）為16%。在快速變化的IT領(lǐng)域，這種超過十年的持續(xù)創(chuàng)新動(dòng)能極為罕見。這表明，深度學(xué)習(xí)不僅僅是一項(xiàng)獨(dú)立的技術(shù)，而是推動(dòng)一系列創(chuàng)新和應(yīng)用的基礎(chǔ)性技術(shù)。

其中，大型語言模型（LLM） 是這一技術(shù)革命的突出成果。得益于深度學(xué)習(xí)的進(jìn)步，LLMs迅速嶄露頭角。從圖中橙色曲線可以看出，與LLMs相關(guān)的專利族申請始于2020-2021年，并迅速增長。

2. 發(fā)明的起源

中國在深度學(xué)習(xí)競爭中的領(lǐng)先地位優(yōu)先權(quán)國家數(shù)據(jù)為專利戰(zhàn)略提供了重要洞見，也是判斷研發(fā)活動(dòng)主要發(fā)生地的可靠指標(biāo)。大多數(shù)申請人傾向于首先在本國申請優(yōu)先權(quán)專利。不過，為了更細(xì)致地分析，還需考慮國際專利族（IPFs） 的數(shù)量（定義見附錄）。

國際專利族（IPFs）： 是指專利權(quán)人選擇向國外擴(kuò)展的專利族，代表了專利的商業(yè)價(jià)值和國際關(guān)注度。這個(gè)指標(biāo)有助于減小因國內(nèi)政策支持本地申請而產(chǎn)生的偏差，是評(píng)估專利戰(zhàn)略和商業(yè)潛力的寶貴工具。

• 中國的優(yōu)勢地位：2023年，中國占全球深度學(xué)習(xí)專利申請總量的80%，并占國際專利族的40%。
• 美國的戰(zhàn)略重點(diǎn)：盡管僅占全球總申請量的5%，但美國貢獻(xiàn)了35%的國際專利族，穩(wěn)居第二。

中國在人工智能領(lǐng)域的領(lǐng)導(dǎo)地位得益于以下幾個(gè)關(guān)鍵因素：

1. 龐大的國內(nèi)市場：為技術(shù)創(chuàng)新提供豐富的應(yīng)用場景。
2. 政策刺激與戰(zhàn)略引導(dǎo)：政府的支持和產(chǎn)業(yè)布局推動(dòng)了技術(shù)發(fā)展。
3. 良好的市場生態(tài)：自給自足的供應(yīng)鏈支撐了創(chuàng)新生態(tài)系統(tǒng)。

與此同時(shí)，韓國 的專利申請量和國際專利族數(shù)量均顯著增長，顯示出強(qiáng)勁的上升勢頭。歐洲 和 日本 也保持了重要的影響力，但在這一競爭激烈的領(lǐng)域略遜于中美韓。

3. 主要玩家

自2021年我們的上一份報(bào)告發(fā)布以來，深度學(xué)習(xí)領(lǐng)域?qū)＠暾埖呐琶鄬Ψ€(wěn)定，這表明主要玩家的地位正在鞏固。領(lǐng)先的實(shí)體通過顯著擴(kuò)展其專利組合繼續(xù)鞏固其優(yōu)勢：

• 百度：專利族從2,500增長至6,751，增長了45%，在總量和國際專利族數(shù)量上均排名第一。
• 三星：增長了27%，在國際專利族數(shù)量上排名第二，是領(lǐng)域內(nèi)的重要玩家。
• 平安科技：在專利族數(shù)量上排名第四，在國際專利族數(shù)量上排名第三。
• 谷歌：專利族數(shù)量排名第九，國際專利族數(shù)量排名第四。
• 微軟：專利族數(shù)量排名第十，國際專利族數(shù)量排名第五。
• IBM：專利組合增長了28%，專利族數(shù)量排名第六，國際專利族數(shù)量排名第九。
• 騰訊：專利族增長了38%，但在國際專利族排名中位列第十。
• 中國國家電網(wǎng)（SGCC）：專利族總量龐大，但主要集中在中國，沒有國際專利族。

中國高校的作用：中國的高校在創(chuàng)新生態(tài)系統(tǒng)中繼續(xù)扮演重要角色，在深度學(xué)習(xí)領(lǐng)域擁有可觀的專利組合，但主要集中于國內(nèi)，國際專利族比例較低。

• 中國科學(xué)院：自2021年以來擴(kuò)展了17%。
• 浙江大學(xué)：增長了15%。
• 北京工業(yè)大學(xué)：增長了43%。
• 哈爾濱工業(yè)大學(xué)：以64%的增長率居首。

缺席的科技巨頭：盡管一些科技巨頭（如亞馬遜、Meta（Facebook）和蘋果）在技術(shù)行業(yè)中占據(jù)主導(dǎo)地位，但它們在深度學(xué)習(xí)領(lǐng)域的專利申請量相對較低。這并不意味著這些公司缺乏對深度學(xué)習(xí)的投入，而是它們更傾向于通過收購人工智能初創(chuàng)公司來擴(kuò)展其技術(shù)能力。

4. 結(jié)論

深度學(xué)習(xí)領(lǐng)域的知識(shí)產(chǎn)權(quán)保護(hù)競爭激烈全球深度學(xué)習(xí)專利競爭的激烈程度突顯了知識(shí)產(chǎn)權(quán)保護(hù)在這一變革性領(lǐng)域中的戰(zhàn)略重要性。各國和國家聯(lián)盟必須培養(yǎng)關(guān)鍵玩家，并建立創(chuàng)新友好的生態(tài)系統(tǒng)以保持競爭力。

• 中國的優(yōu)勢：以市場規(guī)模、政府支持和自給自足的供應(yīng)鏈為核心的組合，推動(dòng)了中國在深度學(xué)習(xí)領(lǐng)域的領(lǐng)導(dǎo)地位。百度憑借強(qiáng)大的專利組合位居首位，其背后是一個(gè)強(qiáng)大的高校和研究機(jī)構(gòu)生態(tài)系統(tǒng)。
• 其他重要貢獻(xiàn)者：美國（IBM、谷歌、微軟、英偉達(dá)和英特爾）、韓國（三星）、歐洲（博世）和日本（索尼）的持續(xù)努力將確保深度學(xué)習(xí)及其應(yīng)用的未來充滿活力和競爭力。

本文轉(zhuǎn)載自 ??歐米伽未來研究所??，作者： 歐米伽未來研究所