一行代碼,AI模型推理速度提升十倍!Reddit技術分享被群嘲為「無恥的自我宣傳」
Reddit 論壇里經(jīng)常有各種 AI 技術的討論,最近有網(wǎng)友分享了一個開源庫,號稱只需要添加幾行代碼,模型的運行速度可以提升 10 倍以上!
文章的標題為「幾乎沒人知道的如何很容易地優(yōu)化 AI 模型」。
一切看著都很正常,一個簡單的技術分享帖子,但網(wǎng)友卻不買賬,他們認為這是無恥的「自我營銷」行為。
Reddit 網(wǎng)站甚至還給討論帖打上了「Shameless Self Promo」的標簽。
所以,這到底是一場單純的技術分享,還是嘩眾取寵的營銷?
技術分享也有錯?
樓主在帖子中寫道,現(xiàn)在只需要添加幾行代碼,你模型的運行速度就可以提升 10 倍甚至更多,但你可能根本沒有意識到怎么做。
他總結了一下目前的 AI 研究情況:
人工智能應用就像雨后春筍一樣快速增長,并且越來越多的人開始加入人工智能世界,樓主也是 AI 大軍中的一員。但問題是,開發(fā)人員只專注于 AI,清洗數(shù)據(jù)和訓練模型。幾乎沒有人有硬件、編譯器、計算、云等方面的背景。結果就導致了開發(fā)人員花了很多時間來提高他們軟件的準確性和性能,而他們所有努力的成果都有可能被錯誤的軟硬件耦合選擇所抵消。
這個問題困擾了他很久,所以就和 Nebuly 的幾個哥們兒(都曾在麻省理工學院、ETH 和 EPFL 工作過),在一個名為 nebullvm 的開源庫中投入了大量精力,開發(fā)了一個讓任何開發(fā)者都能使用 DL 編譯器技術,即使你對硬件一無所知。
它的工作流程就是通過測試多個 DL 編譯器,并選擇最佳的編譯器將你的 AI 模型與你的機器(GPU、CPU 等)進行最佳匹配,從而將你的 DL 模型的速度提高5-20 倍。所有這一切工作只需幾行代碼即可完成。
并且?guī)煲彩情_源的:https://github.com/nebuly-ai/nebullvm
在遭到網(wǎng)友大量的評價后,樓主又在帖子中貼出一段聲明。他表示,這個帖子完全是關于一個開源庫的,并且自推出以來在 GitHub 上一直很受歡迎(僅在第一天就有 250 多顆星)。不幸的是,這篇文章被貼上了「無恥的自我宣傳」的標簽,而對技術問題的回答也被其他評論所掩蓋。
他懇請那些真正嘗試過這個庫的人再對這個帖子進行評論。
網(wǎng)友評價
發(fā)帖人可能也沒想到,技術分享貼并沒有取到預期的效果,而是被廣大網(wǎng)友「罵」上了熱搜。
高贊網(wǎng)友表示,Reddit 能不能制定某種規(guī)則,反對像這樣明顯的自我吹噓的營銷伎倆。并且還舉了一個規(guī)則例子:
人工智能很好,但使用我們的[此處插入平臺/工具/庫],它可以[1-10]x[更好、更快、更容易]。
我雖然喜歡了解新的庫,但我討厭從營銷人員那里了解它們。
下面回復的一個網(wǎng)友也表示,太多科技媒體不懂技術了,他們可能都不知道在 PyTorch 里面使用 .cuda ()可以直接提升 1000 倍模型速度?
并懷疑早期的評論和點贊都是買的網(wǎng)絡水軍。
更直接的網(wǎng)友表示,這純屬垃圾信息,不知道這些天 reddit 發(fā)生了什么。
也有網(wǎng)友舉了最近的另一個帖子當例子:雖然有 931 個點贊,但高贊評論幾乎都是負面評價。
整個項目只是「我的朋友/我的母親認為我做了什么與我實際做了什么」的備忘錄。
對于管理層和投資者來說,這是一個漂亮的視覺效果。對于實際工作的人來說,這幾乎是毫無意義的。大多數(shù)開發(fā)者使用命令行和文本的原因是你要處理如此多的數(shù)據(jù),而視覺效果只是一個障礙而非幫助;
也有網(wǎng)友持不同意見:如果你考慮到有多高比例的潛水和這個 subreddit 上的人實際上并不是以 ML 為職業(yè),也有很多學生和軟件工程師,或者對這個話題有切身興趣的人,他們只是想通過在這里盲目地支持一些東西來感覺自己是「社區(qū)」的一部分,盡管公平地說,他們也并不真正傾向于擁有必要的經(jīng)驗來進行批評。
還有網(wǎng)友表示,他知道這篇文章是一個廣告,有點像「他們用錯誤的工具來告訴你有一個更好的方法」,但說實話,我沒有看到足夠的人做上述工作。我看到更多的是人們在速度上下功夫,或者如何在代碼上打補丁,盡管這對 SLA 來說不是必要的。分析性能不需要很大工作量,主要是因為很多從業(yè)者來自軟件工程背景,他們認為可以努力和取得進展的內容就是運行速度。
也有網(wǎng)友討論技術內核,認為這只是通過 TensorRT(或其他現(xiàn)有的深度學習編譯器)運行模型,這個項目實際上是「無事生非」。
惹民憤的庫
根據(jù) GitHub 庫的 Readme 文件中可以了解到,nebullvm 是一個 All-in-one 的庫,用戶可以在一行代碼中測試多個 DL 編譯器,并將 DL 模型的推理速度提高5-20 倍。
這個資源庫包含了開源的 nebullvm 包,這個開源項目旨在將所有的開源 AI 編譯器統(tǒng)一到同一個易于使用的界面下。
作者表示,他們設計的東西超級容易使用:你只需要輸入 DL 模型,就會自動得到一個優(yōu)化的模型版本,用于對目標硬件進行優(yōu)化。
據(jù)作者所知,目前還沒有開源的庫來結合市場上的各種 DL 編譯器來找出最適合用戶模型的編譯器。他們相信,這個庫可以做出強有力的貢獻,使人工智能開發(fā)者越來越容易使他們的模型更有效率,而不需要花費過多的時間。
目前支持的框架包括 PyTorch 和 Tensorflow,支持的 DL 編譯器包括 OpenVINO(Intel 機器), TensorRT(Nvidia GPU)和 Apache TVM。
使用方法也很簡單,首先使用 pip 安裝。
然后使用 nebullvm 導入 torch 或 tensorflow 的模型,以 pyTorch 為例,幾行代碼即可完成優(yōu)化。
根據(jù)作者提供的信息和 GitHub Stars 數(shù)量來看,這個庫還是靠譜的。
Reddit 網(wǎng)友可能是看了太多 AI 模型的夸張宣傳,都發(fā)泄在了作者身上,作者也表示很無辜??茖W本就是「事實求是」,才能更好地發(fā)展。
你站庫作者還是 Reddit 網(wǎng)友?