InfoWorld 公布了 2023 年最佳開(kāi)源軟件榜單，旨在表彰年度領(lǐng)先的軟件開(kāi)發(fā)、數(shù)據(jù)管理、分析、人工智能和機(jī)器學(xué)習(xí)開(kāi)源工具。

InfoWorld 是致力于引領(lǐng) IT 決策者走在科技前沿的國(guó)際科技媒體品牌，每年 InfoWorld 都會(huì)根據(jù)軟件對(duì)開(kāi)源界的貢獻(xiàn)，以及在業(yè)界的影響力評(píng)選出當(dāng)年的 “最佳開(kāi)源軟件” (InfoWorld's Best of Open Source Software Awards, Bossies)，該獎(jiǎng)項(xiàng)評(píng)選已經(jīng)延續(xù)了十多年。

此次上榜的 25 個(gè)軟件涵蓋編程語(yǔ)言、運(yùn)行時(shí)、應(yīng)用程序框架、數(shù)據(jù)庫(kù)、分析引擎、機(jī)器學(xué)習(xí)庫(kù)、大型語(yǔ)言模型 (LLM)、用于部署 LLM 的工具等領(lǐng)域，具體如下（點(diǎn)擊每個(gè)項(xiàng)目名可跳轉(zhuǎn)進(jìn)入項(xiàng)目介紹頁(yè)面）：

Apache Hudi

在構(gòu)建開(kāi)放式數(shù)據(jù)湖或湖倉(cāng)一體時(shí)，許多行業(yè)都需要一個(gè)更可發(fā)展和可變化的平臺(tái)。以出版商、廣告商和媒體買(mǎi)家的廣告平臺(tái)為例，僅有快速分析是不夠的。InfoWorld 認(rèn)為，Apache Hudi 不僅提供了快速的數(shù)據(jù)格式、表格和 SQL，還使它們能夠進(jìn)行低延遲的實(shí)時(shí)分析。它與 Apache Spark、Apache Flink 以及 Presto、StarRocks 和 Amazon Athena 等工具集成。簡(jiǎn)而言之，如果你想在數(shù)據(jù)湖上進(jìn)行實(shí)時(shí)分析，Hudi 是一個(gè)非常不錯(cuò)的選擇。

Apache Iceberg

“HDFS 和 Hive 太慢了”。Apache Iceberg 不僅能與 Hive 協(xié)同工作，還能直接與 Apache Spark 和 Apache Flink 以及 ClickHouse、Dremio 和 StarRocks 等其他系統(tǒng)協(xié)同工作。Iceberg 可為所有這些系統(tǒng)提供高性能的表格式，同時(shí)支持完整的模式演進(jìn)、數(shù)據(jù)壓縮和版本回滾。Iceberg 是許多現(xiàn)代開(kāi)放數(shù)據(jù)湖的關(guān)鍵組成部分。

Apache Superset

多年來(lái)，Apache Superset 一直是數(shù)據(jù)可視化領(lǐng)域的佼佼者。對(duì)于想要大規(guī)模部署自助服務(wù)、面向客戶或面向用戶的分析工具的人來(lái)說(shuō)，Superset 幾乎是唯一的選擇。Superset 幾乎可以為任何分析場(chǎng)景提供可視化功能，包括從餅狀圖到復(fù)雜的地理空間圖表。它適用于大多數(shù) SQL 數(shù)據(jù)庫(kù)，并提供 drag-and-drop builder  和 SQL IDE。如果你要對(duì)數(shù)據(jù)進(jìn)行可視化，Superset 值得一試。

Bun

Bun 是采用 Zig 語(yǔ)言編寫(xiě)的高性能 “全家桶” JavaScript 運(yùn)行時(shí)，官方稱其為 "all-in-one JavaScript runtime"。Bun 提供了打包、轉(zhuǎn)譯、安裝和運(yùn)行 JavaScript & TypeScript 項(xiàng)目的功能，內(nèi)置原生打包器 (native bundler)、轉(zhuǎn)譯器、task runner、npm 客戶端，以及 fetch、WebSocket等 Web API。

InfoWorld 評(píng)價(jià)稱，當(dāng)你以為 JavaScript 已經(jīng)進(jìn)入可預(yù)見(jiàn)的 routine 時(shí)，Bun 出現(xiàn)了。這個(gè) “輕佻” 的名字掩蓋了它嚴(yán)肅的目標(biāo)：將服務(wù)器端 JS-- 運(yùn)行時(shí)、捆綁程序、包管理器 -- 所需的一切都集成到一個(gè)工具中。讓它成為 Node.js 和 NPM 的直接替代品，但速度要快得多。這個(gè)簡(jiǎn)單的主張似乎讓 Bun 成為了自 Node 顛覆 applecart 以來(lái)最具顛覆性的 JavaScript 工具。

Bun 的速度部分歸功于 Zig，其余則歸功于創(chuàng)始人 Jared Sumner 對(duì)性能的執(zhí)著追求。除了性能之外，將所有工具集成在一個(gè)軟件包中，也讓 Bun 成為 Node 和 Deno 的有力替代品。

Claude 2

Anthropic 的 Claude 2 在單個(gè)提示中最多可接受 100K tokens（約 7 萬(wàn)字），并可生成多達(dá)數(shù)千個(gè) tokens 的故事。Claude 可以編輯、改寫(xiě)、總結(jié)、分類、提取結(jié)構(gòu)化數(shù)據(jù)、根據(jù)內(nèi)容進(jìn)行問(wèn)答等。它在英語(yǔ)方面的訓(xùn)練最多，但在其他一系列常用語(yǔ)言方面也表現(xiàn)出色。Claude 還掌握了大量常用編程語(yǔ)言的知識(shí)。

Claude 從一開(kāi)始就被訓(xùn)練成 helpful、honest 以及 harmless 的機(jī)器人，并經(jīng)過(guò)廣泛的重新訓(xùn)練，變得更加無(wú)害，更難產(chǎn)生攻擊性或危險(xiǎn)的輸出。它不會(huì)根據(jù)你的數(shù)據(jù)進(jìn)行訓(xùn)練，也不會(huì)在互聯(lián)網(wǎng)上查詢答案。

CockroachDB

CockroachDB 是一種分布式 SQL 數(shù)據(jù)庫(kù)，可實(shí)現(xiàn)強(qiáng)一致性 ACID 事務(wù)，通過(guò)實(shí)現(xiàn)數(shù)據(jù)庫(kù)讀寫(xiě)的水平擴(kuò)展性，解決了高性能、事務(wù)繁重型應(yīng)用程序的關(guān)鍵擴(kuò)展性問(wèn)題。CockroachDB 還支持多區(qū)域和多云部署，以減少延遲并遵守?cái)?shù)據(jù)法規(guī)。部署實(shí)例包括 Netflix 的數(shù)據(jù)平臺(tái)，該平臺(tái)擁有 100 多個(gè) CockroachDB 生產(chǎn)集群，支持媒體應(yīng)用和設(shè)備管理。主要客戶包括 Hard Rock Sportsbook、摩根大通、桑坦德銀行和 DoorDash。

CPython

在 Python 3.11 和 Python 3.12 這兩個(gè)版本中，Python 核心開(kāi)發(fā)團(tuán)隊(duì)對(duì) Python 解釋器的參考實(shí)現(xiàn) CPython 進(jìn)行了一系列變革性升級(jí)。其結(jié)果是，Python 運(yùn)行時(shí)性能對(duì)所有人來(lái)說(shuō)都實(shí)現(xiàn)了大幅提升，而不僅限于那些選擇使用新庫(kù)或 cutting-edge 語(yǔ)法的少數(shù)人。

InfoWorld 認(rèn)為，全局解釋器鎖（Global Interpreter Lock）是阻礙 Python 真正實(shí)現(xiàn)多線程并行的一個(gè)長(zhǎng)期障礙。

DuckDB

DuckDB 是一種分析數(shù)據(jù)庫(kù)，它秉承了 SQLite 等小型但功能強(qiáng)大的項(xiàng)目的精神。DuckDB 提供所有熟悉的 RDBMS 功能 --SQL 查詢、ACID 事務(wù)、二級(jí)索引 -- 但增加了分析功能，如大型數(shù)據(jù)集的連接和聚合。它還可以攝取和直接查詢常見(jiàn)的大數(shù)據(jù)格式，如 Parquet。

HTMX 和 Hyperscript 

HTMX 采用了大眾所熟悉和喜愛(ài)的 HTML，并通過(guò)增強(qiáng)功能對(duì)其進(jìn)行了擴(kuò)展，使編寫(xiě)現(xiàn)代網(wǎng)絡(luò)應(yīng)用程序變得更加容易。HTMX 消除了用于連接網(wǎng)絡(luò)前端和后端的大量模板 JavaScript。相反，它使用直觀的 HTML 屬性來(lái)執(zhí)行任務(wù)，如發(fā)出 AJAX 請(qǐng)求和用數(shù)據(jù)填充元素。

同類項(xiàng)目 Hyperscript 引入了類似于 HyperCard 的語(yǔ)法，簡(jiǎn)化了許多 JavaScript 任務(wù)，包括異步操作和 DOM 操作?？傊?，HTMX 和 Hyperscript 為當(dāng)前的反應(yīng)式框架趨勢(shì)提供了一個(gè)大膽的替代方案。

Istio

Istio 是一個(gè)服務(wù)網(wǎng)格，可為基于容器的微服務(wù)簡(jiǎn)化網(wǎng)絡(luò)和通信，提供流量路由、監(jiān)控、日志記錄和可觀測(cè)性，同時(shí)通過(guò)加密、身份驗(yàn)證和授權(quán)功能增強(qiáng)安全性。

Istio 將通信及其安全功能與應(yīng)用程序和基礎(chǔ)架構(gòu)分離開(kāi)來(lái)，從而實(shí)現(xiàn)了更安全、更一致的配置。該架構(gòu)由部署在 Kubernetes 集群中的控制平面和用于控制通信策略的數(shù)據(jù)平面組成。2023 年，Istio 從 CNCF 孵化項(xiàng)目中畢業(yè)，在云原生社區(qū)中獲得包括谷歌、IBM、紅帽、Solo.io 等公司在內(nèi)的支持和貢獻(xiàn)。

Kata Containers

Kata Containers 結(jié)合了容器的速度和虛擬機(jī)的隔離性，是一種安全的容器運(yùn)行時(shí)，使用了英特爾 Clear Containers 和 Hyper.sh runV。Kata Containers 可與 Kubernetes 和 Docker 協(xié)同工作，同時(shí)支持多種硬件架構(gòu)，包括 x86_64、AMD64、Arm、IBM p 系列和 IBM z 系列。

獲得了谷歌云、微軟、AWS、阿里云、思科、戴爾、英特爾、紅帽、SUSE 和 Ubuntu 等企業(yè)的贊助。

LangChain

LangChain 是一個(gè)模塊化框架，可簡(jiǎn)化由語(yǔ)言模型驅(qū)動(dòng)的應(yīng)用程序的開(kāi)發(fā)。LangChain 使語(yǔ)言模型能夠連接到數(shù)據(jù)源并與其環(huán)境交互。LangChain 組件是模塊化抽象和抽象實(shí)現(xiàn)的集合。

LangChain off-the-shelf chains 是組件的結(jié)構(gòu)化組合，用于完成特定的高級(jí)任務(wù)。你可以使用組件定制現(xiàn)有的鏈，也可以構(gòu)建新的鏈。LangChain 目前有三個(gè)版本： 一個(gè)是 Python 版本，一個(gè)是 TypeScript/JavaScript 版本，還有一個(gè)是 Go 版本。截至目前，已有大約 160 個(gè) LangChain 集成。

Language Model Evaluation Harness

當(dāng)一個(gè)新的大語(yǔ)言模型（LLM）發(fā)布時(shí)，通常都會(huì)被進(jìn)行評(píng)估，將該模型與 ChatGPT 在某個(gè)基準(zhǔn)上進(jìn)行比較，很多公司可能會(huì)使用 lm-eval-harness 來(lái)生成評(píng)估分?jǐn)?shù)。lm-eval-harness 由分布式人工智能研究所 EleutherAI 創(chuàng)建，包含 200 多個(gè)基準(zhǔn)，而且很容易擴(kuò)展。該工具甚至被用來(lái)發(fā)現(xiàn)現(xiàn)有基準(zhǔn)中的不足，以及為 Hugging Face 的開(kāi)放式 LLM 排行榜提供支持。

Llama 2

Llama 2 是 Meta AI 的下一代大型語(yǔ)言模型，與 Llama 1 相比，其訓(xùn)練數(shù)據(jù)量增加了 40%（來(lái)自公開(kāi)來(lái)源的 2 萬(wàn)億個(gè) tokens），上下文長(zhǎng)度增加了一倍（4096）。

Llama 2 是一個(gè)使用優(yōu)化的 Transformer 架構(gòu)的 auto-regressive 語(yǔ)言模型。調(diào)整后的版本使用了監(jiān)督微調(diào)（SFT）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF），以符合人類對(duì)有用性和安全性的偏好。Code Llama 是通過(guò)在代碼特定數(shù)據(jù)集上對(duì) Llama 2 進(jìn)行微調(diào)而訓(xùn)練出來(lái)的，它可以根據(jù)代碼或自然語(yǔ)言提示生成代碼和有關(guān)代碼的自然語(yǔ)言。

Ollama

Ollama 是一款命令行工具，可在 macOS 和 Linux 上本地運(yùn)行 Llama 2、Code Llama 和其他模型，并計(jì)劃支持 Windows。Ollama 目前支持近二十多個(gè)語(yǔ)言模型系列，每個(gè)模型系列都有許多可用的 "tags"。Tags 是模型的變體，這些模型使用不同的微調(diào)方法以不同的規(guī)模進(jìn)行訓(xùn)練，并以不同的級(jí)別進(jìn)行量化，以便在本地良好運(yùn)行。量化級(jí)別越高，模型越精確，但運(yùn)行速度越慢，所需的內(nèi)存也越大。

Polars

Pandas 能做到的 Polars 不一定能做到，但它能做到的事情都能以極快的速度完成 -- 比 Pandas 快 10 倍，使用的內(nèi)存只有 Pandas 的一半。來(lái)自 PySpark 的開(kāi)發(fā)人員會(huì)覺(jué)得 Polars API 比 Pandas 中的更易上手。如果你正在處理大量數(shù)據(jù)，Polars 會(huì)讓你的工作速度更快。

PostgreSQL

PostgreSQL 已經(jīng)有 35 年的歷史，有 700 多位貢獻(xiàn)者參與其中，在關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)中估計(jì)占有 16.4% 的市場(chǎng)份額。最近的一項(xiàng)調(diào)查顯示，在 9 萬(wàn)名開(kāi)發(fā)人員中，45% 的人首選 PostgreSQL。

9 月份發(fā)布的 PostgreSQL 16 提升了聚合和選擇不同查詢的性能，增加了查詢并行性，帶來(lái)了新的 I/O 監(jiān)控功能，并增加了更細(xì)粒度的安全訪問(wèn)控制。同樣在 2023 年，Amazon Aurora PostgreSQL 增加了 pgvector，以支持生成式 AI 嵌入，谷歌云也為 AlloyDB PostgreSQL 發(fā)布了類似的功能。

QLoRA

QLoRA 是華盛頓大學(xué)提出的一種有效的微調(diào)方法，可以減少內(nèi)存使用量，足以在單個(gè) 48GB GPU 上微調(diào) 65B 參數(shù)模型，同時(shí)保留完整的 16 位微調(diào)任務(wù)性能。QLoRA 通過(guò)凍結(jié)的 4 位量化預(yù)訓(xùn)練語(yǔ)言模型將梯度反向傳播到低階適配器 (LoRA)。

使用 QLoRA 意味著你可以在臺(tái)式機(jī)上微調(diào) 30B 以上的龐大參數(shù)模型，與在多個(gè) GPU 上進(jìn)行全面調(diào)整相比，精度損失很小。事實(shí)上，QLoRA 有時(shí)甚至做得更好。InfoWorld 評(píng)價(jià)稱，“低位推理和訓(xùn)練意味著更多的人可以使用 LLM-- 這不正是開(kāi)源的意義所在嗎？”

RAPIDS

RAPIDS 是用于常見(jiàn)數(shù)據(jù)科學(xué)和分析任務(wù)的 GPU 加速庫(kù)的集合。每個(gè)庫(kù)處理特定的任務(wù)，例如用于數(shù)據(jù)幀處理的 cuDF、用于圖形分析的 cuGraph 和用于機(jī)器學(xué)習(xí)的 cuML 。

其他庫(kù)涵蓋圖像處理、信號(hào)處理和空間分析，而集成則將 RAPIDS 引入 Apache Spark、SQL 和其他工作負(fù)載。如果現(xiàn)有的庫(kù)都不符合要求，RAPIDS 還包括 RAFT，這是用于構(gòu)建自己的解決方案的 GPU-accelerated primitives 的集合。RRAPIDS 還可與 Dask 攜手跨多個(gè)節(jié)點(diǎn)進(jìn)行擴(kuò)展，并與 Slurm 一起在高性能計(jì)算環(huán)境中運(yùn)行。

Spark NLP

Spark NLP 是一個(gè)自然語(yǔ)言處理庫(kù)，可在 Apache Spark 上運(yùn)行，支持 Python、Scala 和 Java。該庫(kù)可幫助開(kāi)發(fā)人員和數(shù)據(jù)科學(xué)家嘗試使用大型語(yǔ)言模型，包括來(lái)自 Google、Meta、OpenAI 等的 Transformer 模型。

Spark NLP 的模型中心有 2 萬(wàn)多個(gè)模型和管道可供下載，用于語(yǔ)言翻譯、命名實(shí)體識(shí)別、文本分類、問(wèn)題解答、情感分析和其他用例。2023 年，Spark NLP 發(fā)布了許多 LLM 集成、新的圖像到文本注釋器、對(duì)所有主要公共云存儲(chǔ)系統(tǒng)的支持以及對(duì) ONNX（開(kāi)放神經(jīng)網(wǎng)絡(luò)交換）的支持。

StarRocks

分析技術(shù)已經(jīng)發(fā)生了變化。如今的公司經(jīng)常要向數(shù)百萬(wàn)并發(fā)用戶實(shí)時(shí)提供復(fù)雜的數(shù)據(jù)，即使是 PB 級(jí)的查詢也必須在數(shù)秒內(nèi)完成。StarRocks 是一個(gè)查詢引擎，它結(jié)合了 native code（C++）、高效的基于成本的優(yōu)化器、使用 SIMD 指令集的矢量處理、緩存和物化視圖，可高效處理大規(guī)模連接。

StarRocks 甚至能在直接查詢數(shù)據(jù)湖和湖倉(cāng)一體（包括 Apache Hudi 和 Apache Iceberg）時(shí)提供接近原生的性能。InfoWorld 認(rèn)為，無(wú)論你是在追求實(shí)時(shí)分析、提供面向客戶的分析服務(wù)，還是只是想在不移動(dòng)數(shù)據(jù)的情況下查詢數(shù)據(jù)湖，StarRocks 都值得一試。

TensorFlow.js

TensorFlow.js 將谷歌 TensorFlow 機(jī)器學(xué)習(xí)框架的強(qiáng)大功能打包到 JavaScript 軟件包中，以最低的學(xué)習(xí)成本為 JavaScript 開(kāi)發(fā)人員帶來(lái)非凡的功能。你可以在瀏覽器、帶有 WebGL 加速功能的純 JavaScript ?；蚍?wù)器上的 tfjs-node 庫(kù)中運(yùn)行 TensorFlow.js。Node 庫(kù)為你提供了相同的 JavaScript API，但運(yùn)行于 C 二進(jìn)制程序之上，可最大限度地提高速度和 CPU/GPU 使用率。

“就對(duì)機(jī)器學(xué)習(xí)感興趣的 JS 開(kāi)發(fā)人員而言，TensorFlow.js 顯然是是一個(gè)不錯(cuò)的選擇。它為 JS 生態(tài)系統(tǒng)做出了值得歡迎的貢獻(xiàn)，讓廣大開(kāi)發(fā)者更容易接觸到人工智能?！?/p>

vLLM

由于急于在生產(chǎn)中部署大語(yǔ)言模型，導(dǎo)致出現(xiàn)了大量專注于盡可能快地進(jìn)行推理的框架。vLLM 是最有前途的框架之一，它支持 Hugging Face 模型、兼容 OpenAI 的 API 和 PagedAttention 算法。

目前，它是在生產(chǎn)中為 LLM 提供服務(wù)的不二之選，并且 FlashAttention 2 支持等新功能也在快速添加中。

Weaviate

生成式 AI 的蓬勃發(fā)展激發(fā)了對(duì)新型數(shù)據(jù)庫(kù)的需求，這種數(shù)據(jù)庫(kù)可以支持海量復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)。向量數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。

Weaviate 在部署模式、生態(tài)系統(tǒng)集成和數(shù)據(jù)隱私方面為開(kāi)發(fā)人員提供了大量靈活性。Weaviate 將關(guān)鍵詞搜索與向量搜索相結(jié)合，可快速、可擴(kuò)展地發(fā)現(xiàn)多模態(tài)數(shù)據(jù)（文本、圖像、音頻、視頻）。它還有用于檢索增強(qiáng)生成（RAG）的開(kāi)箱即用模塊，可為聊天機(jī)器人和其他生成式 AI 應(yīng)用程序提供特定領(lǐng)域的數(shù)據(jù)，使其更加有用。

Zig

InfoWorld 稱，Zig 可能是當(dāng)今所有的開(kāi)源項(xiàng)目中最重要的一個(gè)。

Zig 致力于創(chuàng)建一種具有程序級(jí)內(nèi)存控制功能的通用編程語(yǔ)言，其性能優(yōu)于 C 語(yǔ)言，同時(shí)提供更強(qiáng)大、更不易出錯(cuò)的語(yǔ)法。其目標(biāo)是取代 C 語(yǔ)言，成為編程生態(tài)系統(tǒng)中的基準(zhǔn)語(yǔ)言。由于 C 語(yǔ)言無(wú)處不在（即系統(tǒng)和設(shè)備中最常見(jiàn)的組件），Zig 的成功可能意味著性能和穩(wěn)定性的廣泛提升。

“這是我們都應(yīng)該期待的。另外，Zig 是一個(gè)優(yōu)秀的、老式的草根項(xiàng)目，擁有著巨大的抱負(fù)和開(kāi)源精神。”