IBM 推出了一個名為 CodeFlare 的開源框架，旨在用于簡化大數(shù)據(jù)和人工智能工作流程在混合云上的整合和有效擴展。根據(jù)介紹，CodeFlare 建立在 Ray 之上，Ray 是一個新興的用于機器學習應(yīng)用的開源分布式計算框架。CodeFlare 通過增加特定的元素來擴展 Ray 的能力，使工作流程的擴展更加容易。

[[410431]]

IBM 方面指出，隨著數(shù)據(jù)和機器學習分析幾乎滲透到每個行業(yè)，任務(wù)變得越來越復雜。雖然為 AI 研究設(shè)計更大的數(shù)據(jù)集和更多系統(tǒng)很重要，但隨著這些工作流程變得越來越多，研究人員也正在花費越來越多的時間來配置他們的設(shè)置，而不是完成數(shù)據(jù)科學。​​​​​​​

如今創(chuàng)建機器學習模型是一項密集的手動任務(wù);研究人員必須訓練和優(yōu)化模型，這涉及到了數(shù)據(jù)清洗、特征提取和模型優(yōu)化等任務(wù)。而 CodeFlare 則有助于簡化這一過程。它使用基于 Python 編程語言的接口來創(chuàng)建管道，通過它可以更輕松地集成、并行化和共享數(shù)據(jù)。CodeFlare 框架的目的是統(tǒng)一跨多個平臺的管道工作流，而無需數(shù)據(jù)科學家學習新的工作流語言。

CodeFlare 管道可以部署在任何云基礎(chǔ)架構(gòu)上，包括新的 IBM Cloud Code Engine(一個無服務(wù)器平臺)和 Red Hat OpenShift。同時，CodeFlare 還為事件觸發(fā)器提供適配器，這意味著管道可以與其他云原生生態(tài)系統(tǒng)集成和橋接。此外，它還支持從眾多來源(如云對象存儲、數(shù)據(jù)湖和分布式文件系統(tǒng))加載和分區(qū)數(shù)據(jù)。

CodeFlare 還應(yīng)該意味著開發(fā)人員不必重復他們的工作或努力弄清楚過去同事做了什么來運行某個管道。“借助 CodeFlare，我們的目標是為數(shù)據(jù)科學家提供更豐富的工具和 API，讓他們可以更加一致地使用，使他們能夠?qū)⒏嗑Ψ旁趯嶋H研究上，而不是配置和部署的復雜性上。”

IBM 稱，他們希望這一框架能夠為開發(fā)人員節(jié)省大量時間和精力來創(chuàng)建部署到混合云的管道。并舉例表明，該公司的一個用戶應(yīng)用 CodeFlare 框架分析和優(yōu)化 100,000 條管道來訓練機器學習模型時，成功地將執(zhí)行每個管道的時間從 4 小時縮短到 15 分鐘。

更多詳情可查看官方博客。

本文轉(zhuǎn)自O(shè)SCHINA

本文標題：IBM 開源 CodeFlare 框架，用于在多云平臺上運行的 AI 模型

本文地址：https://www.oschina.net/news/149690/ibm-open-sources-codeflare