如何使用Python中的asyncio?
譯文【51CTO.com快譯】Python的異步編程功能(簡稱async)讓你可以編寫不必等待獨(dú)立任務(wù)完成就可以完成更多工作的程序。Python附帶的asyncio庫為你提供了使用async處理磁盤或網(wǎng)絡(luò)I/O、無需其他方面等待的工具。
asyncio提供了兩種處理異步操作的API:高級(jí)和低級(jí)。高級(jí)API用途廣泛,適用于各種應(yīng)用程序。低級(jí)API功能強(qiáng)大,但也很復(fù)雜,使用頻率較低。
本文重點(diǎn)介紹高級(jí)API。我們會(huì)逐步介紹asyncio中常用的高級(jí)API,說明它們?nèi)绾慰捎糜谏婕爱惒饺蝿?wù)的常見操作。
如果你完全剛接觸Python中的async,或者想了解其工作原理,不妨先看看本人介紹Python async的文章:https://www.infoworld.com/article/3454442/get-started-with-async-in-python.html,之后再作深入研究。
在Python中運(yùn)行協(xié)程和任務(wù)
很自然,asyncio最常見的用途是運(yùn)行Python腳本的異步部分。這意味著學(xué)會(huì)使用協(xié)程和任務(wù)。
Python的異步組件(包括協(xié)程和任務(wù))只能與其他異步組件一起使用,不能與常規(guī)的同步Python一起使用,因此需要asyncio來填補(bǔ)缺口。為此,你要使用asyncio.run函數(shù):
- import asyncio
- async def main():
- print ("Waiting 5 seconds. ")
- for _ in range(5):
- await asyncio.sleep(1)
- print (".")
- print ("Finished waiting.")
- asyncio.run(main())
這運(yùn)行main(),連同main()觸發(fā)的任何例程,等待結(jié)果返回。
通常而言,Python程序應(yīng)只有一個(gè).run()語句,就像Python程序應(yīng)只有一個(gè)main()函數(shù)一樣。 如果不小心使用,async可能會(huì)使程序的控制流難以閱讀。程序的異步代碼只有一個(gè)入口點(diǎn)可以避免情況變得繁復(fù)。
異步函數(shù)還可以調(diào)度安排成tasks,即包裝協(xié)程并幫助運(yùn)行協(xié)和的對(duì)象。
- async def my_task():
- do_something()
- task = asyncio.create_task(my_task())
my_task()隨后在事件循環(huán)中運(yùn)行,結(jié)果存儲(chǔ)在task中。
如果你只有一個(gè)任務(wù)想要獲取結(jié)果,可以使用asyncio.wait_for(task)來等待任務(wù)完成,然后使用task.result()檢索結(jié)果。但如果你安排了許多任務(wù)要執(zhí)行,并想要等待所有任務(wù)完成,不妨使用asyncio.wait([task1, task2])收集結(jié)果。(注意,如果你不希望超過一定長度的時(shí)間后運(yùn)行,可以設(shè)置操作的超時(shí)時(shí)間。)
在Python中管理異步事件循環(huán)
asyncio的另一個(gè)常見用途是管理異步事件循環(huán)。事件循環(huán)是運(yùn)行異步函數(shù)和回調(diào)的對(duì)象。使用asyncio.run()時(shí),它自動(dòng)創(chuàng)建。你通常希望每個(gè)程序僅使用一個(gè)異步事件循環(huán),同樣以便管理。
如果你在編寫服務(wù)器等更高級(jí)的軟件,需要對(duì)事件循環(huán)擁有較低級(jí)別的訪問權(quán)。為此,你可以“揭開面紗”,直接接觸事件循環(huán)的內(nèi)部機(jī)制。不過如果是簡單的工作,不需要這么做。
在Python中使用streams讀寫數(shù)據(jù)
async的最佳使用場景是長時(shí)間運(yùn)行的網(wǎng)絡(luò)操作,其中應(yīng)用程序可能阻止等待其他某個(gè)資源返回結(jié)果。為此,asyncio提供了streams,這是用于執(zhí)行網(wǎng)絡(luò)I/O的高級(jí)機(jī)制。這包括充當(dāng)網(wǎng)絡(luò)請(qǐng)求的服務(wù)器。
asyncio使用兩個(gè)類StreamReader和StreamWriter,在高級(jí)層面進(jìn)行網(wǎng)絡(luò)讀寫。如果你要從網(wǎng)絡(luò)讀取,可以使用asyncio.open_connection()打開連接。該函數(shù)返回StreamReader對(duì)象和StreamWriter對(duì)象的元組,你要在每個(gè)對(duì)象上使用.read() 和.write()方法以便通信。
想接收來自遠(yuǎn)程主機(jī)的連接,使用asyncio.start_server()。asyncio.start_server()函數(shù)將回調(diào)函數(shù)client_connected_cb作為參數(shù)來接受,只要收到請(qǐng)求就調(diào)用該函數(shù)。該回調(diào)函數(shù)將StreamReader和StreamWriter的實(shí)例作為參數(shù),那樣你就能處理服務(wù)器的讀/寫邏輯。這個(gè)例子(https://gist.github.com/ethanfrey/75e58db27095936b9e5e)介紹了一個(gè)簡單的HTTP服務(wù)器使用asyncio驅(qū)動(dòng)的aiohttp庫。
在Python中同步任務(wù)
異步任務(wù)往往獨(dú)立運(yùn)行,但有時(shí)你希望它們彼此通信。asyncio提供了隊(duì)列和另外幾種在任務(wù)之間進(jìn)行同步的機(jī)制:
- 隊(duì)列:asyncio隊(duì)列允許異步函數(shù)排列Python對(duì)象,以便供其他異步函數(shù)使用——比如說,基于行為在不同類型的函數(shù)之間分配工作負(fù)載。
- 同步原語:asyncio中的鎖、事件、條件和信號(hào)其工作方式類似常規(guī)的Python鎖、事件、條件和信號(hào)。
關(guān)于所有這些方法要記住的一點(diǎn)是它們不是線程安全的。對(duì)于在同一事件循環(huán)中運(yùn)行的異步任務(wù)來說這不是問題。但如果你試圖與不同事件循環(huán)、操作系統(tǒng)線程或進(jìn)程中的任務(wù)共享信息,就需要使用threading模塊及其對(duì)象來執(zhí)行此操作。
此外,如果你想跨線程邊界啟動(dòng)協(xié)程,請(qǐng)使用asyncio.run_coroutine_threadsafe()函數(shù),然后將與它結(jié)合使用的事件循環(huán)作為參數(shù)傳遞。
在Python中暫停協(xié)程
asyncio的另一個(gè)常見、但很少討論的用途是在協(xié)程內(nèi)部等待任意時(shí)長。為此你不能使用time.sleep(),否則會(huì)阻塞整個(gè)程序。而是應(yīng)使用asyncio.sleep(),它允許其他協(xié)程繼續(xù)運(yùn)行。
在Python中使用較低級(jí)別的async
最后,如果你認(rèn)為構(gòu)建的應(yīng)用程序可能需要asyncio的較低級(jí)組件,在開始編程之前先考慮一番:很可能有人已經(jīng)構(gòu)建了可以滿足你需求的基于async的Python庫。
比如說,如果你需要異步DNS查詢,不妨查看aiodns庫;若是異步SSH會(huì)話,則有asyncSSH。通過關(guān)鍵字“async”(以及其他與任務(wù)相關(guān)的關(guān)鍵字)搜索PyPI,或查看人工篩選的Awesome Asyncio列表(https://github.com/timofurrer/awesome-asyncio),以獲取靈感。
原文標(biāo)題:How to use asyncio in Python,作者:Serdar Yegulalp
【51CTO譯稿,合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】