與Java虛擬機(jī)對干?無需操作系統(tǒng)直接運(yùn)行Python代碼
Josh Triplett以一個“笑點”開始了他在PyCon 2015上的演講:移植Python使其無需操作系統(tǒng)運(yùn)行:他和他的英特爾同事讓解釋器能夠在GRUB引導(dǎo)程序、BIOS或EFI系統(tǒng)上運(yùn)行。連演講的休息時間也沒放過,他有很多有趣的要說的事情,還有許多讓人大開眼界的演示。
Python在Boot Loader上運(yùn)行的最初想法是能夠測試硬件,像BIOS,可擴(kuò)展固件接口(EFI)以及高級配置和電源接口(ACPI),而無需去寫一些“一次性測試項目“程序集。傳統(tǒng)來說,英特爾已經(jīng)寫了很多針對DOS(BIOS系統(tǒng))或EFI系統(tǒng)的測試程序。無論是DOS還是EFI都不提供環(huán)境保護(hù),這樣程序就能夠駐入在內(nèi)存和硬件中去做他們所需的任何事情。
他不過是想用腳本來寫測試代碼而已,“因為這樣比較有趣”。他既不想寫太多的 C 語言代碼,也不想像以前那樣用那個能計算 C-類 表達(dá)式的 GRUB shell。 其實, 他說,“C 代碼寫的越少, 我就越輕松"。
隨著時間的推移, 移植到 GRUB 中的 Python 已經(jīng)變成操控硬件的利器。它又把我們帶回到使用 PEEK 和 POKE 在 Commodore 64(or DOS) 上面操控硬件的美好時光。“那些事是現(xiàn)在的硬件設(shè)備無法完成的”他說。
BIOS Implementation Test Suite(BITS),正如其名,將會運(yùn)行在多種固件上的GRUB中:32位BIOS或32/64位EFI。他使用原始的GRUB或GRUB 2。基于標(biāo)準(zhǔn)的PYTHON解釋器(如CPython),但是他道歉道:它使用PYTHON2.7。這個工具的目標(biāo)受眾對這個版本的語言相當(dāng)熟悉。如果不是這樣,他更喜歡在以后遷移到Python 3.
有一個“讀取-求值-輸出 循環(huán)” 交互環(huán)境[read-eval-print loop (REPL)]讓你完全訪問Python語言。它包括Tab完成,歷史記錄,和行編輯。一個標(biāo)準(zhǔn)庫的“大量碎片”已經(jīng)被一直BITS上運(yùn)行。最重要的是,這個項目已經(jīng)添加了一些對平臺支持的模塊:CPU,SMP(symmetric multi-processing),ACPI,EFI以及其他。INTEL已經(jīng)創(chuàng)建了一個測試集以及 使用Python寫了使用以上模塊的一些試探性的工具。
Triplett然后從幻燈片切換到了虛擬機(jī)的GRUB中運(yùn)行一個Python解釋器的提示界面。他輸入了兩句語句到解釋器來展示它支持列表解析和任意大的整數(shù)(如:bignums)。
要獲得一個python交互環(huán)境,GRUB需要調(diào)用一個單獨的函數(shù):
- PyRun_InteractiveLoop(stdin, "<stdin>");
它會處理所有REPL[讀取-執(zhí)行-輸出 循環(huán)],包括對輸入的解析和執(zhí)行、行編輯等等。
這兩個參數(shù)簡單的表明了在哪里獲取輸入 和 當(dāng)發(fā)生異常時在traceback里要輸出什么來當(dāng)做源文件。但是想要能在GRUB里調(diào)用那個函數(shù)還有一些工作要做。
因為不能使用來自于 Linux 主機(jī)的工具鏈和特性,這個項目不能像平常那樣安裝和配置 Python。對于 GRUB 來說,沒有 GNU 目標(biāo)聲明(例如:用于交叉編譯的 cpu-vendor-od-triple)和目標(biāo)頭文件可以使用。因此,BITS 將所有的 Python 源文件添加到了 GRUB 的構(gòu)件系統(tǒng)中。本質(zhì)上說那僅僅是一些GRUB 添加 Python 所必需的 C 語言文件。通常,autoconf 將創(chuàng)建 Python 構(gòu)件程序中的apyconfig.h 文件來說明哪些功能在平臺上存在。相反的,這個項目手動的創(chuàng)建 apyconfig.h 文件大量“不,我沒有這個功能”的配置參數(shù)和一小撮“是”的條目。
許多在 pyconfig.h 文件中被列出的功能是被(或不被)操作系統(tǒng)所提供的,但是在這種情況下是沒有操作系統(tǒng)的。Python 的確需要最低限度的一些支持功能,以及一些額外被配置的特性。這個項目需要去做的是提供任何被渴望而又不存在功能。
CPython 需要什么
那么,什么情況下你真的需要運(yùn)行 CPython?Triplett 提供的大量實例來證明什么時候需要運(yùn)行 CPython。有一些平常的文件操作就需要了,比如說:使用 stat () 來確定一個路徑是否包含 __init__或是文件中是否包含 __init__。增加 simpleisatty()(以位為單位,文件描述符是少于三則返回 true)好比經(jīng)歷一個 seek() 執(zhí)行一樣。為了支持那些功能,不得不添加一個簡單的文件描述符表,因為 GRUB 的文件功能使用結(jié)構(gòu)體指針,而不是描述符。
解析器把一個字符放回在輸入流的時候,Python 也需要使用 ungetc() 。而不是在添加一個字符緩沖區(qū)的時候使用,即添加"快速 hack"來尋找后一個字符。添加開放式編碼的 qsort() 時也一樣一樣要使用 ungetc();GRUB 不任何支持排序。
GRUB還沒有支持的另一個方面是浮點運(yùn)算。項目組發(fā)現(xiàn)了一個許可的浮點運(yùn)算庫FDLIBM。它沒有使用任何浮點硬件加速,這在GRUB環(huán)境是非常有用的。這意味啊即使在固件沒完全初始化浮點運(yùn)算硬件時也能使用浮點運(yùn)算。
在使用Python時,我們大量使用printf()和sprintf()。大部分情況,GRUB版本工作很好,但對“%%”(輸出一個”%“)這種特殊格式還不支持。事實證明,Python頻繁使用格式化的字符串輸出。
在被發(fā)現(xiàn)和修復(fù)之前,怪異的BUG仍然存在。
這個工程還有一些性能問題需要解決。首先,啟動時間出乎意料的長。對硬件來說,這是十分痛苦的事情,但是在 CPU 的模擬電路上也很糟糕(“我們不想花三天時間做引導(dǎo)”)。部分問題來自于 Python 的解釋器,每次它讀取一個數(shù)據(jù)的時候都要調(diào)用 usesungetc()。GRUB 沒有太多高速緩存的磁盤,所以所有 I/O 端口直接訪問磁盤。
通過加入對 .pyc (Python 字節(jié)代碼)文件格式的支持,這個工程能夠提前減少許多語法分析工作。主機(jī)的版本和 GRUB 的版本在同一時刻編譯,用于 Python 文件在啟動時的編譯工作。
這做出了實質(zhì)性的提升,但是由于stat()的原因,啟動時間仍然有些慢。他說在Linux系統(tǒng)上,stat()僅花費幾微秒的時間,但是BITS版本會花費幾毫秒。增加對zipimport的支持能讓工程把所有的.py文件打包放入一個單一的ZIP文件中來避免對stat()的調(diào)用。
這個工程希望做有歷史和tab自動補(bǔ)全的REPL(讀取﹣求值﹣輸出循環(huán)),但是一般獲得支持的方式是使用GUN的Readline library。這個庫由有終端設(shè)備的POSIX(可移植操作系統(tǒng)接口)提供環(huán)境支持。開發(fā)者不想寫一個“C代碼文件”來支持它,所以他們用Python寫了一個讀取線支持來替代。CPython的PyOS_ReadlineFunctionPointer被稱為一個使用C語言API的新Python函數(shù)的C函數(shù)集合。
為了能夠使用其他的操作和多種的測試套件,仍迫切需要構(gòu)建 GRUB 的動態(tài)菜單。GRUB 已經(jīng)為設(shè)備提供了磁盤和文件系統(tǒng)像磁盤分區(qū)和 CD 驅(qū)動器(例如:“(hd0)”,"(cd)")因此 BITS 增加了一個的“(python)”設(shè)備和一個工作起來像在 Linux 用戶空間的文件系統(tǒng)(譯者注:打不開請加梯子)。因此 Python 代碼能訪問任意的內(nèi)存文件,例如在 (python)/menu.cfg 下的菜單配置文件,“即使我們沒有寫更多的C代碼”,Triplett 說道。
訪問硬件
既然目標(biāo)是提供一個友好的測試硬件環(huán)境,Python 需要能夠訪問它。一個叫做“bits”的模塊被添加進(jìn)來提供訪問各種硬件的功能,例如:CPUID,特殊模塊寄存器 (MSRs),I/O 端口,和內(nèi)存映射 I/O。他用幾行代碼展示了這些能力。
- >>> import bits
- >>> from ctypes import *
- >>> c = bits.cpuid(0, 0)
- >>> c
- cpuid_result(eax=0x..., ebx=..., ecx=..., edx=...)
他引入ctypes模塊,以便在下一部分演示中“操作原始內(nèi)存片”。對于那些想要深挖一些的人來說,幾乎所有演示都可以在這個YouTube視頻的演講中看到。cpuid()調(diào)用返回了CPU0的CPUID,他之后將其打印出來。他問:“這是不是很有趣?我們正從Python中得到處理器的寄存器信息。” 接著,他使用Python來解釋這個結(jié)果:
- >>> buf = (c_uint32*3)(c.ebx, c.edx, c.ecx)
- >>> (c_char*12).from_buffer(buf).value
- 'GenuineIntel'
三個寄存器包含描述處理器類型的標(biāo)識符。他使用ctypes模塊中的類型,以字符串的形式重新解釋這三個寄存器(按照之前的順序)的信息,結(jié)果顯示為處理器類型。
Intel希望能夠測試高度并行化的系統(tǒng),但GRUB只了解啟動了的CPU的信息。所以BITS在系統(tǒng)中喚醒每個CPU,并把它們放入一個睡眠循環(huán)中,使用MWAIT(x86監(jiān)視器等待指令)等待工作的到來。特定CPU有專門的喚醒函數(shù)和執(zhí)行函數(shù)。
這個項目還準(zhǔn)備用Python獲取ACPI的信息和方法。這參考了ACPI組件架構(gòu) (ACPICA)的實現(xiàn)并把它加入BITS中。由于全部是C代碼,所以增加了Python綁定。這一做法使得Python可以調(diào)用任意ACPI方法——只要先將參數(shù)轉(zhuǎn)換成ACPI類型并將結(jié)果轉(zhuǎn)成Python類型。他用了一個簡單的Python程序演示了如何將虛擬機(jī)中所有設(shè)備的硬件ID顯示出來:
- >>> import acpi
- >>> print acpi.dump('_HID')
Triplett聲稱他不會繼續(xù)深入講解BITS硬件探索的細(xì)節(jié)。他已經(jīng)在其它演講中更加詳盡地解釋過了。
英特爾也希望系統(tǒng)能使用這個固件而不是BIOS訪問EFI。這種擴(kuò)展名義上是指一切在EFI中都是”協(xié)議“,每一個都包含了原生c語言函數(shù)調(diào)用。要做到這樣,通過libffi提供的外部函數(shù)接口被移植到GRUB并且添加了支持EFI調(diào)用轉(zhuǎn)換的功能。使用這種方式和Python c類型的模塊(Python提供的c語言類型的接口和函數(shù))允許解釋器訪問EFI。他僅使用Python演示了訪問EFI的方法:
- >>> import efi
- >>> out = efi.system_table.ConOut.contents
- >>> out.ClearScreen(out)
- [ which clears the screen ]
- >>> out.OutputString(out, 'Hello world!\r\n')
- Hello world!
訪問EFI后,允許Python使用EFI文件協(xié)議去創(chuàng)建目錄和寫文件到EFI文件系統(tǒng)中。這是非常有幫助的,因為GRUB僅僅能夠讀文件。不僅僅如此,存在著圖像輸出協(xié)議(GOP)能夠讀寫屏幕內(nèi)容。正如他所解釋的,幻燈片就是簡單的圖像,事實上是通過在筆記本上BITS和EFI顯示出來的。在BITS的環(huán)境下,做出了這個幻燈片和demo,因此,事實來說,整個演示就是一個demo,他說這些話時周圍響起了掌聲。這樣做是不需要任何一行新的C語言代碼的。
最后他保存了認(rèn)為最好的demo,并從EFI(可擴(kuò)展固件接口)GOP(畫面組)的幀緩沖區(qū)中作為Python啟動,當(dāng)他敲完最后的幾行代碼,很明顯機(jī)器開始識別了,計算并顯示了一個400x400大小的 Mandelbrot set(曼德布洛特集合)的灰度圖片。他對周圍鼓掌的人說:“在EFI圖形協(xié)議中僅用八行Python代碼顯示了不規(guī)則圖形(Fractal)”。大約要15秒來繪出圖像,有點慢,他說,那不是Python的問題,而是因為使用純軟件進(jìn)行浮點運(yùn)算了。
在談話最后,Triplett指出在BITS(后臺智能傳輸服務(wù))里沒有中斷處理的鉤子函數(shù)(hook),但是這很容易就添加上的。他說,在像Mirage OS(和其它的“類似操作系統(tǒng)”)也能在BITS上添加Python代碼,并且和這沒有多大區(qū)別。“待辦事件清單上的下一個有趣的項目”是添加Python綁定的EFI TCP網(wǎng)絡(luò)協(xié)議和鉤子到Python的socket模塊,看看能否在那樣的環(huán)境(BITS)下運(yùn)行一個簡單的HTTP服務(wù)(SimpleHTTPServer)。這樣就能添加一個“網(wǎng)絡(luò)REPL(web REPL)”到BITS環(huán)境了。
英文原文:Python without an operating system