自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

EasyDL專業(yè)版Notebook建模功能詳解

人工智能
Notebook這種靈活簡便的交互方式十分適用于機(jī)器學(xué)習(xí)的學(xué)習(xí)和訓(xùn)練,因?yàn)闄C(jī)器學(xué)習(xí)項(xiàng)目往往需要反復(fù)測試和實(shí)驗(yàn),以及編寫文檔記錄調(diào)參的過程,還可以在Notebook中進(jìn)行數(shù)據(jù)可視化的代碼開發(fā)和展現(xiàn),觀察實(shí)驗(yàn)數(shù)據(jù)。

Jupyter Notebook是基于網(wǎng)頁的用于交互計(jì)算的應(yīng)用程序,可以被應(yīng)用于全過程計(jì)算:從開發(fā)、文檔編寫、到運(yùn)行代碼和展示結(jié)果。簡而言之,Jupyter Notebook可以讓開發(fā)者直接在網(wǎng)頁頁面中編寫代碼和運(yùn)行代碼,代碼的運(yùn)行結(jié)果也會(huì)直接在代碼塊下顯示,同時(shí)如果在編程過程中需要編寫說明文檔,也可以在同一個(gè)頁面中直接編寫,便于作及時(shí)的說明和解釋。Notebook這種靈活簡便的交互方式十分適用于機(jī)器學(xué)習(xí)的學(xué)習(xí)和訓(xùn)練,因?yàn)闄C(jī)器學(xué)習(xí)項(xiàng)目往往需要反復(fù)測試和實(shí)驗(yàn),以及編寫文檔記錄調(diào)參的過程,還可以在Notebook中進(jìn)行數(shù)據(jù)可視化的代碼開發(fā)和展現(xiàn),觀察實(shí)驗(yàn)數(shù)據(jù)??偨Y(jié)來說,Jupyter Notetook本身具有以下特點(diǎn):

1、編程時(shí)具有語法高亮、縮進(jìn)、tab補(bǔ)全的功能

2、可直接在瀏覽器中以代碼塊為單位運(yùn)行代碼,實(shí)時(shí)調(diào)試,運(yùn)行輸出直接顯示在代碼塊下方

3、支持Markdown語法編寫說明文檔

4、支持使用LaTeX編寫數(shù)學(xué)性說明

5、支持?jǐn)?shù)據(jù)可視化的展現(xiàn),支持的格式包括 HTML, PNG, SVG等

可見,在AI開發(fā)過程中,Notebook開發(fā)方式可以幫助開發(fā)者更直觀、簡便地進(jìn)行代碼編寫,提升模型的開發(fā)速度。百度大腦EasyDL零門檻AI開發(fā)平臺(tái),一站式支持智能標(biāo)注、模型訓(xùn)練、服務(wù)部署等全流程功能,面向?yàn)槠髽I(yè)開發(fā)者打造。EasyDL專業(yè)版支持深度開發(fā)高精度AI模型,為了向開發(fā)者們提供更易用、更靈活的開發(fā)環(huán)境,專業(yè)版在2020年4月份上線了Notebook功能,打通了 Jupyter Notebook在進(jìn)行深度學(xué)習(xí)項(xiàng)目開發(fā)時(shí)的上下游環(huán)節(jié),開發(fā)者在享受EasyDL一站式深度學(xué)習(xí)模型開發(fā)流程的同時(shí),又能自由地使用任意合適的預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練和調(diào)參。具體來說,EasyDL專業(yè)版中的Notebook具有以下特點(diǎn):

1、打通了EasyDL數(shù)據(jù)管理模塊,支持直接使用EasyDL中的數(shù)據(jù)集進(jìn)行訓(xùn)練,無須重復(fù)上傳

2、強(qiáng)大的代碼編輯靈活性,完全自定義的模型訓(xùn)練環(huán)境,不受限于EasyDL腳本調(diào)參中內(nèi)置的模型,從而滿足深度自定義的模型自編程需求

3、提供高性能GPU訓(xùn)練資源(V100),并有充分的免費(fèi)試用額度(目前為100小時(shí))

4、在EasyDL操作臺(tái)中提供Notebook產(chǎn)出的模型多版本管理以及效果對比

5、提供一鍵服務(wù)部署,可進(jìn)行臨時(shí)效果校驗(yàn)和生產(chǎn)環(huán)境API級(jí)服務(wù)封裝

接下來我們通過使用流程介紹來逐步展現(xiàn)這些特點(diǎn):

EasyDL專業(yè)版Notebook具體使用步驟:

1、首先,可以通過以下網(wǎng)址進(jìn)入Notebook操作頁面:

 https://ai.baidu.com/easydl/pro/app/projects/notebook/

若沒有登錄百度云賬號(hào)的,會(huì)先跳轉(zhuǎn)到登錄頁面,登錄成功后到達(dá)EasyDL專業(yè)版Notebook操作界面。

2、這個(gè)時(shí)候還沒有項(xiàng)目,我們來創(chuàng)建一個(gè)。點(diǎn)擊“馬上創(chuàng)建”,可以在彈窗中選擇任務(wù)類型,可選擇圖像分類的單標(biāo)簽或多標(biāo)簽、物體檢測,完成名稱等信息的填寫后即可創(chuàng)建。

展示中選擇的是物體檢測,在后面生成的代碼模板會(huì)根據(jù)選擇模型的不同而作出對應(yīng)調(diào)整。

3、創(chuàng)建項(xiàng)目后,會(huì)獲得一個(gè)空模型版本。接下來要準(zhǔn)備打開Notebook進(jìn)行操作了,點(diǎn)擊這里的“配置環(huán)境”,進(jìn)來需要選一下PaddlePaddle版本、Python版本、以及GPU型號(hào)?,F(xiàn)在默認(rèn)都是GPU V100,限時(shí)100小時(shí)免費(fèi),無論從價(jià)值還是配置,都非常優(yōu)秀。

4、點(diǎn)擊“啟動(dòng)Notebook”,啟動(dòng)時(shí)常約3-5分鐘。

5、啟動(dòng)成功后,我們即可進(jìn)入Notebook界面:左邊欄可以查看文件夾、數(shù)據(jù)集、運(yùn)行環(huán)境和相關(guān)設(shè)置,右側(cè)顯示了入口的Notebook和一個(gè)終端。
我們注意看下文件夾,默認(rèn)保留了三個(gè)文件夾,均與EasyDL的相關(guān)服務(wù)有關(guān)聯(lián),請勿隨意刪除。
-PretrainedModel文件夾: 存放notebook中訓(xùn)練出的模型,可以用于后續(xù)在EasyDL中進(jìn)行模型保存和發(fā)布
-data文件夾:存放數(shù)據(jù)集的目錄,初始時(shí)候是空的,后面從EasyDL導(dǎo)入的數(shù)據(jù)會(huì)存放在這里,具體導(dǎo)入步驟我們下一步再看
-demo文件夾: 存放的預(yù)置的示例代碼,使用入口是demo/train.sh

6、接下來即可進(jìn)入訓(xùn)練環(huán)節(jié)。首先,在數(shù)據(jù)準(zhǔn)備時(shí),Notebook開發(fā)環(huán)境作為EasyDL專業(yè)版的一部分,可與EasyDL專業(yè)版共享數(shù)據(jù)集,直接進(jìn)行導(dǎo)入:

  • 先點(diǎn)擊左側(cè)導(dǎo)航欄中的【數(shù)據(jù)集】,進(jìn)入后點(diǎn)擊【導(dǎo)入數(shù)據(jù)集】,會(huì)彈出所有已經(jīng)在專業(yè)版上已經(jīng)上傳的數(shù)據(jù)集,可根據(jù)需要選擇相應(yīng)數(shù)據(jù)集進(jìn)行導(dǎo)入。

  • 選擇后,在數(shù)據(jù)集tab下即可查看到選擇的數(shù)據(jù)集正在進(jìn)行導(dǎo)入,導(dǎo)入時(shí)長與數(shù)據(jù)集大小正相關(guān)。

7、下一步來到運(yùn)行訓(xùn)練代碼,我們可以直接用示例代碼來先跑跑看,示例代碼入口是demo/train.sh, 第一個(gè)參數(shù)是數(shù)據(jù)集路徑,第二個(gè)參數(shù)是運(yùn)行導(dǎo)出的模型路徑。這里數(shù)據(jù)集的路徑需要我們修改成實(shí)際導(dǎo)入的數(shù)據(jù)集路徑,一般是/home/work/data/${dataset_id}, 這里dataset_id可以從數(shù)據(jù)集導(dǎo)入邊欄里看到,也可以在導(dǎo)入成功之后直接查看data文件夾。

8、數(shù)據(jù)集路徑也可以在Notebook代碼中進(jìn)行修改,點(diǎn)擊運(yùn)行即可開始訓(xùn)練模型。這里我用的是mnist的數(shù)據(jù)集,但是修改了框出的數(shù)字的位置,變成了物體檢測的數(shù)據(jù)集。

 此時(shí),我們在【終端-1】中,可以看到訓(xùn)練任務(wù)正在運(yùn)行:

9、運(yùn)行完成速度與數(shù)據(jù)量有關(guān),在完成后可以看到在PretrainedModel文件夾下有了這些模型文件:

10、大家可以對模型再進(jìn)行調(diào)優(yōu),不過記住產(chǎn)出的模型都需要放在PretrainedModel文件夾下面,接著我們來發(fā)布這個(gè)demo模型

a)首先需要對模型進(jìn)行保存,點(diǎn)擊上方的【保存模型】,會(huì)回到EasyDL的操作臺(tái)上進(jìn)行發(fā)布

b) 首先在彈窗中選擇模型框架。此處可以選擇【生成新版本】或是【覆蓋現(xiàn)有可升級(jí)模型】

選擇【生成新版本】即可在EasyDL控制臺(tái)的項(xiàng)目下就會(huì)出現(xiàn)一個(gè)新版本

選擇【覆蓋現(xiàn)有可升級(jí)模型】即可覆蓋EasyDL操作臺(tái)顯示的舊版本

c) 然后選擇要保存的文件,需要注意的是,此處的幾個(gè)文件都必須選中,否則會(huì)導(dǎo)致發(fā)布失敗

d) 然后選擇對應(yīng)的代碼進(jìn)行保存:

e)最后點(diǎn)擊生成,稍等后就會(huì)收到提示:“版本生成成功”

11、回到EasyDL專業(yè)版的操作臺(tái),由于保存的時(shí)候選擇了【生成新版本】,可以看到此處已經(jīng)增加了新建的V2版本:

12、然后點(diǎn)擊模型配置,準(zhǔn)備發(fā)布。此處,可以填寫模型的相關(guān)信息,下一步選擇模型文件,也就是剛才在Notebook頁面保存模型時(shí)選擇的文件:

之后可以對出入?yún)ⅰ⒛P皖A(yù)測時(shí)的預(yù)處理及后處理代碼進(jìn)行編輯。例如,我想修改發(fā)布后預(yù)測接口返回字段的格式,這里加了個(gè)size字段,可以參考下圖稍做改動(dòng),點(diǎn)擊提交。

13、提交之后,在專業(yè)版的操作臺(tái),可以看到V2版本的狀態(tài)處于“代碼驗(yàn)證中”,稍等狀態(tài)變成有效之后,可以點(diǎn)擊“效果校驗(yàn)”,生成demo。

14、點(diǎn)擊“效果校驗(yàn)”,啟動(dòng)模型校驗(yàn):

15、稍等幾分鐘,啟動(dòng)完成之后,我們用一張圖來測試下,可以看到識(shí)別出了數(shù)字是1(預(yù)測標(biāo)簽為1),而且標(biāo)注出了數(shù)字的位置,模型的效果較好。

16、最后進(jìn)行正式部署,可以看看新添加自定義size字段是否會(huì)出現(xiàn):

   a) 點(diǎn)擊正式部署,填寫API名稱和自定義URL字段

   b) 狀態(tài)進(jìn)入審核中,審核結(jié)束后即可進(jìn)行API調(diào)用

c) 審核通過后,可以看到服務(wù)詳情,包含設(shè)置的調(diào)用URL

d) 此時(shí)可以嘗試調(diào)用API,具體的調(diào)用鑒權(quán)問題,可以參考官方文檔:

https://ai.baidu.com/ai-doc/EASYDL/Dk38n3yck

    在下方,可以看到調(diào)用結(jié)果中有"size"屬性了:

對Notebook開發(fā)方式感興趣的開發(fā)者,可以對照以上流程在EasyDL專業(yè)版上進(jìn)行Notebook建模。后續(xù)EasyDL還會(huì)在這個(gè)基礎(chǔ)上不斷進(jìn)行迭代升級(jí),包括在Notebook中提供豐富的預(yù)置預(yù)訓(xùn)練模型、Notebook代碼自動(dòng)遷移至EasyDL分布式訓(xùn)練集群等功能,為開發(fā)者提供更加靈活易用的AI模型開發(fā)方式。

EasyDL是基于飛槳深度開發(fā)平臺(tái)為企業(yè)級(jí)開發(fā)者打造的零門檻AI開發(fā)平臺(tái),提供數(shù)據(jù)處理、模型訓(xùn)練、模型部署全流程功能。其中,EasyDL專業(yè)版是面向?qū)I(yè)算法工程師群體,專門推出的AI模型開發(fā)與服務(wù)平臺(tái),內(nèi)置了百度海量數(shù)據(jù)訓(xùn)練的預(yù)訓(xùn)練模型,可以在少量訓(xùn)練數(shù)據(jù)上達(dá)到更優(yōu)的訓(xùn)練效果。在模型的服務(wù)部署方面,EasyDL支持將模型發(fā)布為公有云API、設(shè)備端SDK、似有服務(wù)器部署和軟硬一體方案部署,企業(yè)可以根據(jù)具體的模型應(yīng)用場景選擇適應(yīng)的部署方式。目前,已經(jīng)在零售、工業(yè)質(zhì)檢、安全生產(chǎn)、互聯(lián)網(wǎng)內(nèi)容安全等多個(gè)行業(yè)成功落地,幫助企業(yè)完成智能化轉(zhuǎn)型,達(dá)成降本增效的目標(biāo)。

百度搜索“EasyDL專業(yè)版”或直接訪問:

https://ai.baidu.com/easydl/pro,立即上手Notebook開發(fā)!

 

 

責(zé)任編輯:張燕妮 來源: 51CTO
相關(guān)推薦

2009-12-03 15:47:03

Suse Linux

2015-08-04 14:58:41

Windows 10版本

2012-03-30 09:36:44

Windows 8專業(yè)版

2010-06-28 14:59:32

UML2.x建模工具

2013-08-29 10:32:52

Windows 8.1

2010-07-12 15:33:29

UML2.x建模工具

2012-08-22 09:01:09

Windows 8操作系統(tǒng)

2011-11-15 11:19:35

云桌面eyeOS

2009-12-10 13:53:58

VS2008專業(yè)版

2020-07-08 15:36:18

百度大腦

2009-12-16 09:17:01

Visual Stud

2020-06-11 17:17:55

百度大腦

2009-12-11 17:20:36

Visual Stud

2010-01-25 12:57:21

Windows 7批量升級(jí)

2009-12-17 16:32:42

Visual Stud

2013-12-06 10:44:04

Windows 9標(biāo)準(zhǔn)版專業(yè)版

2013-11-05 17:11:24

Windows8.1系統(tǒng)升級(jí)

2021-07-28 05:29:33

Windows 11操作系統(tǒng)微軟

2012-08-21 09:02:13

Windows 8操作系統(tǒng)

2012-08-07 11:08:37

Windows 8售價(jià)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)