一直以來，IBM研究院以其深厚的技術(shù)積累和創(chuàng)新精神走在科技前沿。作為全球領(lǐng)先的技術(shù)研究機構(gòu)之一，IBM研究院不僅在傳統(tǒng)計算機科學(xué)領(lǐng)域取得了豐碩成果，更在人工智能、量子計算、云計算等新興領(lǐng)域展現(xiàn)了其強大的研發(fā)實力和前瞻性視角。特別是在人工智能領(lǐng)域，IBM研究院推出的多項創(chuàng)新技術(shù)和產(chǎn)品，如著名的問答系統(tǒng)“沃森”（Watson），已經(jīng)成為業(yè)界的標(biāo)桿，推動了整個行業(yè)的進(jìn)步。

近年來隨著軟件開發(fā)過程的復(fù)雜化，代碼智能成為了提高開發(fā)效率、降低錯誤率的關(guān)鍵技術(shù)。自2023年開始，IBM研究院推出了Granite Code模型系列，這是一系列開放基礎(chǔ)模型，旨在提升代碼智能水平，輔助開發(fā)者更高效地完成編程任務(wù)。Granite Code模型系列通過深度學(xué)習(xí)技術(shù)，能夠理解和生成代碼，幫助修復(fù)漏洞，解釋和文檔化代碼，維護(hù)代碼庫等，其應(yīng)用潛力巨大。

最新Granite Code模型系列的推出，不僅是IBM研究院在人工智能領(lǐng)域的又一重要貢獻(xiàn)，也預(yù)示著代碼智能技術(shù)的新發(fā)展方向。這些模型的開放性，使得更廣泛的開發(fā)者和研究者能夠利用這些先進(jìn)的工具，共同推動軟件開發(fā)領(lǐng)域的創(chuàng)新?？梢灶A(yù)見，Granite Code模型系列將在提高軟件開發(fā)質(zhì)量、加速軟件創(chuàng)新進(jìn)程等方面發(fā)揮重要作用，對整個IT行業(yè)產(chǎn)生深遠(yuǎn)影響。

01.背景與動機

隨著軟件系統(tǒng)的不斷增長和復(fù)雜化，開發(fā)者面臨著越來越多的挑戰(zhàn)，包括代碼質(zhì)量控制、缺陷檢測、以及維護(hù)成本的上升。在這樣的背景下，代碼智能技術(shù)的發(fā)展顯得尤為重要，它能夠幫助開發(fā)者提高效率，減少錯誤，從而加速軟件開發(fā)進(jìn)程。

開放基礎(chǔ)模型（Open Foundation Models）的出現(xiàn)，為軟件開發(fā)帶來了革命性的影響。這些模型通過大規(guī)模的數(shù)據(jù)訓(xùn)練，能夠理解和生成代碼，輔助開發(fā)者完成從代碼編寫到調(diào)試的各個環(huán)節(jié)。它們的開放性質(zhì)意味著更多的開發(fā)者和研究者可以共同參與到模型的改進(jìn)和應(yīng)用中，推動了整個行業(yè)的創(chuàng)新。

IBM研究院推出的Granite Code模型系列，是在這一背景下的重要創(chuàng)新。這些模型不僅覆蓋了116種編程語言，而且在大小上從3億到340億參數(shù)不等，適用于從復(fù)雜的應(yīng)用程序現(xiàn)代化任務(wù)到內(nèi)存受限的設(shè)備上的使用。Granite Code模型系列的創(chuàng)新點在于其強大的代碼理解和生成能力，以及在代碼修復(fù)、解釋和文檔化等多個方面的應(yīng)用潛力。研究動機則是為了解決軟件開發(fā)中的實際問題，如提高代碼質(zhì)量、降低維護(hù)成本，以及加速開發(fā)進(jìn)程。（鏈接：??https://github.com/ibm-granite/granite-code-models??）

圖1:Granite-8B-代碼（基本/指令）與HumanEvalPack上類似大小的其他開源（代碼）LLM的比較（Muennighoff et al.，2023），涵蓋3個編碼任務(wù)和6種編程語言。

Granite Code模型的主要優(yōu)勢包括：

·全能代碼LLM：Granite Code模型在不同類型的代碼相關(guān)任務(wù)上實現(xiàn)了有競爭力或最先進(jìn)的性能，包括代碼生成、解釋、修復(fù)、編輯、翻譯等，展示了其解決多樣化編碼任務(wù)的能力。

·值得信賴的企業(yè)級LLM：所有模型都是在IBM的AI倫理原則指導(dǎo)下，使用許可允許的數(shù)據(jù)進(jìn)行訓(xùn)練的，由IBM的法律團(tuán)隊指導(dǎo)，以確保企業(yè)可信賴地使用。所有Granite Code模型都在Apache 2.0許可下發(fā)布。

02.模型架構(gòu)

Granite Code模型系列的設(shè)計理念是為了解決軟件開發(fā)中的多樣化問題，包括但不限于代碼生成、缺陷修復(fù)、代碼解釋、文檔生成以及代碼庫維護(hù)等。

表1：Granite Code模型的模型配置。

技術(shù)架構(gòu)的核心在于Granite Code模型是基于變壓器（Transformer）架構(gòu)的解碼器模型。這種架構(gòu)已經(jīng)在自然語言處理領(lǐng)域證明了其有效性，特別是在處理長序列數(shù)據(jù)時。Granite Code模型采用了深層的網(wǎng)絡(luò)結(jié)構(gòu)，這使得模型能夠捕捉到編程語言中的復(fù)雜模式和依賴關(guān)系。模型的深度和寬度，即其層數(shù)和每層的寬度，都是經(jīng)過精心設(shè)計的，以確保模型能夠處理各種規(guī)模的代碼，從簡單的腳本到復(fù)雜的系統(tǒng)級應(yīng)用程序。

Granite Code模型有兩個主要變體，分別是基礎(chǔ)模型（Granite Code Base）和指令跟隨模型（Granite Code Instruct），后者通過結(jié)合Git提交與人類指令以及開源合成代碼指令數(shù)據(jù)集進(jìn)行微調(diào)?；A(chǔ)模型經(jīng)過兩階段訓(xùn)練策略從頭開始訓(xùn)練：第一階段，模型在116種編程語言中訓(xùn)練了3到4萬億個token，以確保對編程語言和語法有全面的理解；第二階段，模型在5000億個token上進(jìn)一步訓(xùn)練，這些token是從代碼和自然語言領(lǐng)域精心設(shè)計的高質(zhì)量數(shù)據(jù)混合而成，以提高模型的推理能力。指令模型是通過在CommitPack、OASST、HelpSteer和開源數(shù)學(xué)數(shù)據(jù)集（包括MathInstruct和MetaMathQA）上進(jìn)一步微調(diào)上述訓(xùn)練好的基礎(chǔ)模型得到的，包括用于提高指令跟隨和推理能力的合成代碼數(shù)據(jù)集。

圖2：Granite34B代碼有效訓(xùn)練的深度升級概述。我們利用1.6T令牌后的20B模型，在不改變訓(xùn)練和推理框架的情況下，用相同的代碼預(yù)訓(xùn)練數(shù)據(jù)開始訓(xùn)練34B模型。

在一系列綜合性基準(zhǔn)測試中對代碼LLM進(jìn)行了廣泛評估，包括HumanEvalPack、MBPP(+)、RepoBench、ReCode等。這些基準(zhǔn)測試涵蓋了許多不同類型的編碼任務(wù)，不僅僅是Python中的代碼合成，還包括代碼修復(fù)、代碼解釋、代碼編輯、代碼翻譯等，涵蓋了大多數(shù)主要編程語言（Python、JavaScript、Java、Go、C++、Rust等）。研究發(fā)現(xiàn)，在開源模型中，Granite Code模型在所有模型大小和基準(zhǔn)測試中表現(xiàn)出非常強勁的性能（通常比Granite大兩倍的其他開源代碼模型表現(xiàn)更好）。此外，由于推理對于解決復(fù)雜的問題和任務(wù)至關(guān)重要，他們還在六個數(shù)學(xué)基準(zhǔn)測試上測試了Granite-8B-Code-Base模型，包括MATH、GSM8K以及具有計算工具訪問權(quán)限的問題解決，在這些測試中，Granite 8B模型的性能優(yōu)于大多數(shù)最先進(jìn)的7B或8B LLM。

數(shù)據(jù)來源和處理是構(gòu)建有效模型的另一個關(guān)鍵因素。Granite Code模型訓(xùn)練所使用的數(shù)據(jù)集涵蓋了116種編程語言，這些數(shù)據(jù)來自于公開的代碼庫、論壇和其他編程相關(guān)的文檔。在數(shù)據(jù)預(yù)處理階段，IBM研究院的團(tuán)隊采用了多種技術(shù)來清洗和篩選數(shù)據(jù)，確保模型訓(xùn)練使用的是高質(zhì)量的數(shù)據(jù)。例如，他們會移除代碼中的重復(fù)部分、過濾掉低質(zhì)量的代碼片段，以及排除可能包含敏感信息的數(shù)據(jù)。此外，數(shù)據(jù)集還經(jīng)過了去重和模糊去重處理，以減少訓(xùn)練集中的冗余信息。

參數(shù)規(guī)模對性能的影響顯而易見。Granite Code模型系列包括從3億到340億參數(shù)不等的模型，這一寬廣的參數(shù)范圍使得模型能夠適應(yīng)不同的應(yīng)用場景。在參數(shù)規(guī)模較小的模型中，它們可以被部署在內(nèi)存受限的設(shè)備上，如移動設(shè)備和嵌入式系統(tǒng)。而參數(shù)規(guī)模較大的模型則能夠處理更復(fù)雜的任務(wù)，如大規(guī)模的代碼庫維護(hù)和復(fù)雜的代碼生成任務(wù)。模型的性能隨著參數(shù)規(guī)模的增加而提高，但同時也需要更多的計算資源和更長的訓(xùn)練時間。

在模型架構(gòu)方面，他們基于Transformer解碼器架構(gòu)訓(xùn)練了一系列不同大小的代碼模型。對于所有模型架構(gòu)，他們使用預(yù)歸一化：將歸一化應(yīng)用于注意力和MLP塊的輸入。例如，3B模型是Granite-code模型家族中最小的模型，使用RoPE嵌入和多頭注意力進(jìn)行訓(xùn)練。該模型使用帶GLU的swish激活函數(shù)（也稱為swiglu）進(jìn)行MLP訓(xùn)練。對于歸一化，他們使用RMSNorm，因為它在計算上比LayerNorm更高效。3B模型的訓(xùn)練上下文長度為2048個token。8B模型的架構(gòu)與3B模型類似，但使用了分組查詢注意力（GQA），在此規(guī)模下提供了模型性能和推理效率之間更好的折衷。他們使用4096個token的上下文長度訓(xùn)練8B模型。

Granite Code模型系列的技術(shù)架構(gòu)、數(shù)據(jù)處理方法以及參數(shù)規(guī)模的設(shè)計，共同確保了模型在代碼智能領(lǐng)域的高性能和廣泛適用性。

03.訓(xùn)練與評估

訓(xùn)練過程中采用的方法和技術(shù)

Granite Code模型的訓(xùn)練過程采用了最先進(jìn)的機器學(xué)習(xí)技術(shù)和大規(guī)模數(shù)據(jù)集。模型訓(xùn)練主要分為兩個階段：

1.預(yù)訓(xùn)練階段：在這一階段，模型使用了大量的代碼數(shù)據(jù)，這些數(shù)據(jù)覆蓋了116種編程語言。通過這種多語言的訓(xùn)練，模型能夠?qū)W習(xí)到不同編程語言的語法和結(jié)構(gòu)特點。此外，預(yù)訓(xùn)練還包括了自然語言處理任務(wù)，以提高模型對代碼注釋和文檔的理解能力。Granite Code模型經(jīng)過兩階段訓(xùn)練，第一階段（僅代碼訓(xùn)練）：3B和8B模型在包含116種語言的4萬億token的代碼數(shù)據(jù)上進(jìn)行訓(xùn)練。20B參數(shù)模型在3萬億token的代碼上進(jìn)行訓(xùn)練。34B模型在20B模型的1.6T檢查點之后的1.4T token上進(jìn)行訓(xùn)練。第二階段（代碼+語言訓(xùn)練）：在第二階段，他們包括了額外的高質(zhì)量公開數(shù)據(jù)，包括技術(shù)、數(shù)學(xué)和網(wǎng)絡(luò)文檔，以進(jìn)一步提高模型在推理和問題解決技能方面的性能，這些技能對代碼生成至關(guān)重要。他們在第二階段訓(xùn)練中為所有模型訓(xùn)練了500B token（80%代碼和20%語言數(shù)據(jù)）。

2.微調(diào)階段：在預(yù)訓(xùn)練的基礎(chǔ)上，模型會針對特定的編程任務(wù)進(jìn)行微調(diào)。這包括代碼生成、代碼修復(fù)、代碼解釋等多種任務(wù)。微調(diào)使模型能夠在特定任務(wù)上達(dá)到更高的精度和效率。他們使用因果語言建模目標(biāo)和填充中間（Fill-In-the-Middle, FIM）目標(biāo)進(jìn)行訓(xùn)練。FIM目標(biāo)的任務(wù)是在給定上下文和后續(xù)文本的情況下預(yù)測插入的token。他們訓(xùn)練他們的模型以在PSM（前綴-后綴-中間）和SPM（后綴-前綴-中間）模式下工作，使用與Starcoder相同的相關(guān)格式控制token。

基礎(chǔ)設(shè)施方面，他們使用IBM的兩個超級計算集群Vela和Blue Vela進(jìn)行訓(xùn)練，分別配備NVIDIA A100和H100 GPU。Vela A100 GPU集群的每個節(jié)點都有2×Intel Xeon可擴展處理器，與8×80GB A100 GPU通過NVLink和NVSwitch相連。Vela集群采用RoCE（RDMA over Converged Ethernet）和GDR（GPU-direct RDMA）進(jìn)行高性能網(wǎng)絡(luò)通信。同樣，Blue Vela集群的每個節(jié)點由雙48核Intel處理器組成，配備8×80GB H100 GPU。Blue Vela采用3.2Tbps InfiniBand互連，以促進(jìn)節(jié)點之間的無縫通信，以其高吞吐量和低延遲而聞名。此外，Blue Vela采用單獨的、專用的InfiniBand存儲網(wǎng)絡(luò)，為每個計算節(jié)點提供800Gbps的速度，由多個ESS6000存儲設(shè)備支持。兩個集群為他們的模型提供了可擴展且高效的訓(xùn)練基礎(chǔ)設(shè)施，可以在數(shù)千個GPU上進(jìn)行訓(xùn)練。他們估計Granite Code模型的預(yù)訓(xùn)練碳排放量約為455 tCO2eq，這是基于模型的總能耗和美國國家平均碳強度因子0.423 kg CO2eq/KWh計算得出的，沒有考慮數(shù)據(jù)中心的位置。Blue Vela集群運行在100%可再生能源上，以最小化環(huán)境影響。

在訓(xùn)練過程中，IBM研究院采用了多種技術(shù)來優(yōu)化模型性能，包括但不限于：

• 多階段訓(xùn)練策略：通過分階段訓(xùn)練，模型能夠逐步學(xué)習(xí)和適應(yīng)不同的任務(wù)和數(shù)據(jù)集。
• 高質(zhì)量數(shù)據(jù)集：精心篩選和預(yù)處理的數(shù)據(jù)集確保了訓(xùn)練的有效性和模型的泛化能力。
• 大規(guī)模并行訓(xùn)練：利用IBM的超級計算資源，模型能夠在短時間內(nèi)完成大規(guī)模的并行訓(xùn)練。

各種編程語言和任務(wù)上的表現(xiàn)

Granite Code模型在多種編程語言和任務(wù)上都展現(xiàn)了出色的性能。在代碼生成任務(wù)中，模型能夠準(zhǔn)確地生成符合語言規(guī)范的代碼片段。在代碼修復(fù)任務(wù)中，模型能夠識別出代碼中的錯誤并提供修復(fù)方案。在代碼解釋任務(wù)中，模型能夠清晰地解釋代碼的功能和邏輯。

在不同編程語言的處理上，Granite Code模型也展現(xiàn)了強大的多語言支持能力。無論是常用的編程語言如Python、Java、JavaScript，還是較少見的語言如Go、Rust，模型都能夠提供高質(zhì)量的代碼智能服務(wù)。

與其他現(xiàn)有模型的性能對比

與市場上其他的代碼智能模型相比，Granite Code模型在多個方面都顯示出了優(yōu)勢。例如，與CodeGemma、Starcoder2和Llama3等模型相比，Granite Code模型在代碼生成和修復(fù)任務(wù)上的準(zhǔn)確率更高，處理速度更快，且更能適應(yīng)不同的編程環(huán)境和任務(wù)需求。

圖3：Granite-8B-Code-Instruct、Mistral-7B-Instruct-v0.2、Gemma-7B-IT和Llama-3-8B-Instruction在HumanEvalPack上的性能。

在代碼生成方面，他們采用了HumanEvalSynthesize基準(zhǔn)測試，該測試將HumanEval基準(zhǔn)測試中的Python問題擴展到另外五種常用編程語言，即JavaScript、Java、Go、C++、Rust。他們使用貪婪解碼以零樣本的方式評估所有模型，對于基礎(chǔ)模型使用完成格式，對于指令調(diào)整模型使用指令模板。在構(gòu)建指令調(diào)整模型的提示時，他們遵循官方示例提供的格式。他們在HuggingFace模型卡片、GitHub倉庫和正式出版物或技術(shù)報告中搜索合適的提示格式。

在MultiPL-E基準(zhǔn)測試中，他們比較了18種不同編程語言上的所有基礎(chǔ)模型，按照Lozhkov等人的方法，以0.2的溫度和0.95的top-p采樣每個提示的50個完成。從表中可以看出，沒有一個單一的模型在所有模型大小的每種語言上都表現(xiàn)最好。與同等大小的開源模型CodeLlama-7B相比，Granite-8B-Code-Base在16/18種編程語言上表現(xiàn)最佳。在中等大小的模型中，Starcoder2-15B表現(xiàn)最佳。在大型模型中，Granite-34B-Code-Base在大多數(shù)語言上都比CodeLlama-34B表現(xiàn)更好，展示了其在多種語言上的代碼生成效果。

Granite Code模型系列不僅在技術(shù)上達(dá)到了行業(yè)領(lǐng)先水平，而且在開放性和適用性上也為未來的軟件開發(fā)趨勢提供了新的可能性。

04.應(yīng)用場景

企業(yè)軟件開發(fā)中的應(yīng)用潛力

Granite Code模型系列的設(shè)計初衷是為了提高軟件開發(fā)的效率和質(zhì)量。在企業(yè)級軟件開發(fā)中，這些模型可以大幅度減少開發(fā)者的重復(fù)工作，自動化常規(guī)但復(fù)雜的編程任務(wù)。例如，在維護(hù)大型代碼庫時，Granite Code模型可以自動識別和修復(fù)安全漏洞，或者對遺留代碼進(jìn)行現(xiàn)代化改造，這對于保持企業(yè)軟件的競爭力至關(guān)重要。

模型在代碼生成、修復(fù)、解釋方面的實際效果

代碼生成：Granite Code模型能夠根據(jù)開發(fā)者的需求生成高質(zhì)量的代碼片段。在實際應(yīng)用中，開發(fā)者可以通過提供功能描述來生成相應(yīng)的代碼，這不僅提高了開發(fā)速度，也降低了因手動編碼導(dǎo)致的錯誤。

代碼修復(fù)：這些模型在識別和修復(fù)代碼中的缺陷方面表現(xiàn)出色。它們能夠理解代碼的上下文，自動提出修復(fù)建議，甚至直接生成修復(fù)后的代碼，極大地提高了軟件的可靠性和安全性。

代碼解釋：Granite Code模型還能夠?qū)Υa進(jìn)行解釋，幫助開發(fā)者理解復(fù)雜的代碼邏輯。這一功能對于新加入項目的開發(fā)者來說尤其有用，可以快速上手并參與到項目中。

內(nèi)存受限設(shè)備上的應(yīng)用前景

隨著物聯(lián)網(wǎng)和移動設(shè)備的普及，對在內(nèi)存受限設(shè)備上運行高效AI模型的需求日益增長。Granite Code模型系列中較小的模型可以部署在這些設(shè)備上，執(zhí)行代碼分析、缺陷檢測等任務(wù)，而不會占用過多的計算資源。這使得即使是資源受限的設(shè)備也能夠利用AI的力量來優(yōu)化和保障軟件質(zhì)量。

Granite Code模型系列不僅在技術(shù)上達(dá)到了行業(yè)領(lǐng)先水平，而且在開放性和適用性上也為未來的軟件開發(fā)趨勢提供了新的可能性。

05.魯棒性分析

表16顯示了不同模型在每個擾動類別的最差情況RP@1。

表16：RP@1在Recode基準(zhǔn)上的性能。接下來對所有模型使用具有貪婪采樣的HumanEval基準(zhǔn)的擾動版本，以消除隨機性效應(yīng)并實現(xiàn)公平比較。

代碼擾動的挑戰(zhàn)：在實際的軟件開發(fā)過程中，代碼擾動是常見的問題，它可能源于開發(fā)者的錯誤、外部庫的更新或其他不可預(yù)見的變化。一個魯棒的代碼智能模型應(yīng)該能夠有效地處理這些擾動，維持其性能不受影響。

Granite Code模型的應(yīng)對策略：Granite Code模型通過在訓(xùn)練過程中引入各種擾動，提高了模型的魯棒性。這包括對函數(shù)名、文檔字符串和代碼本身的變化進(jìn)行模擬，以此訓(xùn)練模型識別和適應(yīng)這些變化。此外，模型還被設(shè)計為能夠在不同程度的噪聲和擾動下保持穩(wěn)定的性能。

最壞情況下的性能表現(xiàn)：在ReCode基準(zhǔn)測試中，Granite Code模型展現(xiàn)了其在最壞情況下的性能。即使在極端的代碼擾動情況下，Granite Code模型也能夠保持較高的代碼生成和修復(fù)準(zhǔn)確率。這證明了模型在處理現(xiàn)實世界軟件開發(fā)中遇到的復(fù)雜問題時的可靠性。

性能表現(xiàn)的具體分析

RP@1性能指標(biāo)：在ReCode基準(zhǔn)測試中，RP@1（Robust Pass@1）是衡量模型在面對擾動時是否能正確生成或修復(fù)代碼的指標(biāo)。Granite Code模型在不同的擾動類別中都展現(xiàn)了優(yōu)異的RP@1性能，特別是在文檔字符串和函數(shù)名的擾動測試中。

圖4：Granite代碼模型在Berkeley函數(shù)調(diào)用排行榜上的性能。總體精度隨著模型大小的增加而不斷提高，這表明大型模型在函數(shù)調(diào)用能力方面的優(yōu)勢。

圖5:Berkley函數(shù)調(diào)用排行榜上的Granite-8B-Code與CodeLlama-7B。Granite-8B-Code（基本/指導(dǎo)）在所有三個指標(biāo)上始終優(yōu)于CodeLlama-7B（基本/指示）。

與其他模型的對比：與市場上其他的代碼智能模型相比，Granite Code模型在魯棒性方面表現(xiàn)出了明顯的優(yōu)勢。即使在參數(shù)規(guī)模較小的模型中，Granite Code模型也能夠有效地處理代碼擾動，而在參數(shù)規(guī)模較大的模型中，其魯棒性更是顯著。

06.未來展望

隨著技術(shù)的發(fā)展和市場需求的變化，Granite Code模型預(yù)計將在多個方向上進(jìn)行擴展和深化。模型的參數(shù)規(guī)?？赡軙^續(xù)增長，以提供更高的性能和更強的泛化能力。模型可能會在特定領(lǐng)域進(jìn)行優(yōu)化，例如針對大數(shù)據(jù)分析、云計算等領(lǐng)域的特定需求。此外模型的應(yīng)用范圍也可能會擴展到代碼安全分析、智能代碼審查等新的領(lǐng)域。

Granite Code模型的開放性質(zhì)意味著它們可以不斷地進(jìn)行更新和改進(jìn)。IBM研究院可能會定期發(fā)布模型的更新版本，以納入最新的研究成果和市場反饋。同時，開發(fā)者社區(qū)的貢獻(xiàn)也可能成為模型改進(jìn)的重要來源。通過持續(xù)的迭代，Granite Code模型將能夠保持其在行業(yè)中的領(lǐng)先地位。

在處理復(fù)雜的軟件項目時，長上下文的處理能力對于模型的性能至關(guān)重要。未來的研究可能會專注于如何提高模型在長上下文中的表現(xiàn)，例如通過改進(jìn)模型的注意力機制或引入新的上下文管理技術(shù)。此外，針對特定編程語言的專門化模型也是未來研究的一個重要方向。這些專門化模型可以為特定語言提供更高效的代碼智能服務(wù)，例如針對Python、Java等流行語言的專門化模型。

總結(jié)來說，Granite Code模型系列不僅在技術(shù)上達(dá)到了行業(yè)領(lǐng)先水平，而且在未來的發(fā)展?jié)摿ι弦舱宫F(xiàn)了巨大的前景。IBM研究院在這一系列模型上的工作，不僅展示了其在人工智能領(lǐng)域的技術(shù)實力，也為軟件開發(fā)的未來趨勢提供了新的方向。這些模型的開放性和多功能性，將使其在推動軟件開發(fā)自動化和智能化方面發(fā)揮重要作用。

參考資料：
1.https://arxiv.org/pdf/2405.04324
2.https://github.com/ibm-granite/granite-code-models
3.https://www.ibm.com/impact/ai-ethics