吳恩達(dá)押注Agent新成果官宣!零樣本標(biāo)記實(shí)現(xiàn)圖片目標(biāo)檢測(cè)
剛剛,AI大牛吳恩達(dá)官宣創(chuàng)業(yè)公司新成果——Agentic Object Detection(Agent目標(biāo)檢測(cè))。
無(wú)需標(biāo)注訓(xùn)練數(shù)據(jù),模型僅通過(guò)推理就能在圖片中定位指定物體。
舉個(gè)栗子,在一張長(zhǎng)滿草莓的圖片中,提示詞為“未成熟的草莓”,AI模型立馬分分鐘幫你找出。
據(jù)吳恩達(dá)介紹,以前視覺(jué)AI要想識(shí)別物體,需要在大量標(biāo)注數(shù)據(jù)上訓(xùn)練,而現(xiàn)在AI只需瞥一眼圖片,短暫思考后(當(dāng)前約20~30s)就能立刻輸出正確內(nèi)容。
而通過(guò)推理實(shí)現(xiàn)零樣本標(biāo)記的方法也令一眾網(wǎng)友感到興奮,未來(lái)應(yīng)用潛力巨大。
目前這個(gè)AI工具人人免費(fèi)可玩(也為開發(fā)者提供了API),僅過(guò)去幾小時(shí),一大波網(wǎng)友試玩已新鮮出爐~
網(wǎng)友瘋狂試玩ing
還是先來(lái)看下吳恩達(dá)的詳細(xì)介紹。
在他看來(lái),Agentic Object Detection改變了目標(biāo)檢測(cè)的工作流程。
傳統(tǒng)視覺(jué)AI的目標(biāo)檢測(cè),通常需要繪制大量邊框來(lái)標(biāo)注數(shù)據(jù),然后在神經(jīng)網(wǎng)絡(luò)上訓(xùn)練。
而現(xiàn)在,新的AI系統(tǒng)將耗時(shí)耗力的標(biāo)注過(guò)程省略了。它將感知規(guī)劃行動(dòng)等都糅合在一起,通過(guò)調(diào)用一系列工具,以及對(duì)任務(wù)長(zhǎng)度進(jìn)行推理,最終實(shí)現(xiàn)了零樣本標(biāo)記輸入輸出。
按他的說(shuō)法,這就好比“睜眼版”o1和DeepSeek R1,看一眼,然后立即思考作答。
介紹過(guò)程中,除了一開始提到的草莓識(shí)別,他還展示了其他幾個(gè)demo(請(qǐng)大家來(lái)找茬doge)。
planes with two engines(帶兩個(gè)引擎的飛機(jī))
再比如在超市貨架上找出某品牌的麥片。
Kellogg’s branded cerea
當(dāng)然更實(shí)用的場(chǎng)景是,假如在家里翻箱倒柜找不著東西了,召喚它來(lái)幫忙(媽媽:別整天媽媽媽)。
除此之外,網(wǎng)友們也開始集體交作業(yè),整體看下來(lái)大部分都成功了。
簡(jiǎn)單的有,找出板球運(yùn)動(dòng)中的擊球手(batsman)。
或者檢測(cè)出特定程序項(xiàng)目。
再比如找出航拍視角下的荒漠綠植。
當(dāng)然,還有類似下面這樣的日常生活。AI成功找到了一大盤食物中的壽司,不過(guò)在找貨架上的汽水時(shí),網(wǎng)友反饋只有詳細(xì)到芬達(dá)這個(gè)品牌名才有可能成功,單純提示“汽水”nonono。
更難的有,分別識(shí)別出美式足球中的攻守兩方隊(duì)員(上下驗(yàn)證能對(duì)得上)。
甚至也能快速找出非常迷你的飛鏢。
不過(guò),也有網(wǎng)友分享了少部分翻車案例。
同一張圖,當(dāng)網(wǎng)友試圖找出戴帽子的人,AI明顯漏了,一眼就能看到23號(hào)隊(duì)員。
而且也無(wú)法識(shí)別圖中的矩形。(地面,看看我)
經(jīng)網(wǎng)友總結(jié),顯然Agentic Object Detection對(duì)一些常見(jiàn)問(wèn)題(如遮擋、光線過(guò)曝等)還無(wú)法良好適應(yīng)。
正如我們前面提到的草莓,有火眼金睛的網(wǎng)友發(fā)現(xiàn),AI誤將一個(gè)光線不佳的成熟草莓識(shí)別為“未成熟”。
不過(guò)吳恩達(dá)也早已提到,目前這個(gè)還只是初步嘗試,檢測(cè)質(zhì)量、回答速度等后續(xù)還會(huì)進(jìn)行優(yōu)化。
出自吳恩達(dá)第二個(gè)創(chuàng)業(yè)項(xiàng)目
眾所周知,吳恩達(dá)從2017年離開百度后(百度前首席科學(xué)家)便投身AI創(chuàng)業(yè)。
目前已知的人工智能項(xiàng)目有3個(gè)。
2017年6月,他官宣了第一個(gè)創(chuàng)業(yè)項(xiàng)目Deeplearning.ai,主要和教育相關(guān)(他目前還是斯坦福大學(xué)CS客座教授)。
這是一個(gè)AI在線教育平臺(tái),通過(guò)提供深度學(xué)習(xí)課程和資源,幫助人們學(xué)習(xí)AI技術(shù)。
在這之后,他又推出了第二個(gè)創(chuàng)業(yè)項(xiàng)目Landing.ai,專注于幫助企業(yè)實(shí)現(xiàn)人工智能轉(zhuǎn)型。
從當(dāng)時(shí)的介紹來(lái)看,其目標(biāo)是通過(guò)AI技術(shù)提升企業(yè)效率,解決制造業(yè)中的痛點(diǎn)問(wèn)題。例如提高生產(chǎn)效率、優(yōu)化供應(yīng)鏈管理、減少浪費(fèi)等。
后來(lái)Landing.ai還和富士康等企業(yè)建立了戰(zhàn)略合作關(guān)系,共同開發(fā)AI技術(shù)、人才和系統(tǒng)。
而這一次的Agentic Object Detection,從官宣視頻來(lái)看即是出自該項(xiàng)目。
這也透露了,這一新工具大概率也是面向B端應(yīng)用。
也幾乎是同時(shí),他在2018年成立了第三個(gè)創(chuàng)業(yè)項(xiàng)目AI Fund,顯然這是一家專注于投資人工智能初創(chuàng)企業(yè)的投資基金。
當(dāng)時(shí)資金規(guī)模達(dá)到1.75億美元,投資者包括NEA(New Enterprise Associates)、紅杉和軟銀等一眾知名機(jī)構(gòu)。
而近來(lái),他更是對(duì)Agent智能體押下重注。
早在去年年初,他曾通過(guò)Deeplearning.ai平臺(tái)預(yù)言:
超越下一代基礎(chǔ)模型,Agent工作流將推動(dòng)AI巨大進(jìn)步。
當(dāng)時(shí)他就提到,就像大語(yǔ)言模型(LLMs)在零樣本模式下工作(提示模型逐個(gè)生成最終輸出token,而不修改其工作),Agent在執(zhí)行一系列步驟(如規(guī)劃、執(zhí)行、反思等)后可能比單次產(chǎn)生更好的效果。
現(xiàn)在,是時(shí)候逐步檢驗(yàn)一系列新成果了。
所以,你能想到這項(xiàng)技術(shù)還有哪些潛在應(yīng)用嗎?
(發(fā)出網(wǎng)友同款疑問(wèn))