IO在計算機(jī)中指的是Input/Output，也就是輸入輸出。凡是用到數(shù)據(jù)交換的地方，都會涉及IO編程，例如磁盤、網(wǎng)絡(luò)的數(shù)據(jù)傳輸。

在IO編程中，Stream(流)是一種重要的概念，分為輸入流(Input Stream)和輸出流(Output Stream)。我們可以把流理解為一個水管，數(shù)據(jù)相當(dāng)于水管中的水，但是只能單向流動，所以數(shù)據(jù)傳輸過程中需要架設(shè)兩個水管，一個負(fù)責(zé)輸入，一個負(fù)責(zé)輸出，這樣讀寫就可以實(shí)現(xiàn)同步。

本文主要講解磁盤IO操作。

01 文件讀寫

1. 打開文件

讀寫文件是最常見的IO操作。Python內(nèi)置了讀寫文件的函數(shù)，方便了文件的IO操作。

文件讀寫之前需要打開文件，確定文件的讀寫模式。open函數(shù)用來打開文件，語法如下：

open(name[.mode[.buffering]]) 

open函數(shù)使用一個文件名作為唯一的強(qiáng)制參數(shù)，然后返回一個文件對象。模式(mode)和緩沖區(qū)(buffering)參數(shù)都是可選的，默認(rèn)模式是讀模式，默認(rèn)緩沖區(qū)是無。

假設(shè)有個名為qiye.txt的文本文件，其存儲路徑是c:\text(或者是在Linux下的~/text)，那么可以像下面這樣打開文件。在交互式環(huán)境的提示符“>>>”下，輸入如下內(nèi)容：

>>> f = open(r'c:\text\qiye.txt') 

如果文件不存在，將會看到一個類似下面的異常回溯：

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
IOError: [Errno 2] No such file or directory: 'C:\\qiye.txt' 

2. 文件模式

下面主要說一下open函數(shù)中的mode參數(shù)，通過改變mode參數(shù)可以實(shí)現(xiàn)對文件的不同操作。

• 'r'：讀模式
• 'w'：寫模式
• 'a'：追加模式
• 'b'：二進(jìn)制模式(可添加到其他模式中使用)
• '+'：讀/寫模式(可添加到其他模式中使用)

這里主要是提醒一下'b'參數(shù)的使用，一般處理文本文件時，是用不到'b'參數(shù)的，但處理一些其他類型的文件(二進(jìn)制文件)，比如mp3音樂或者圖像，那么應(yīng)該在模式參數(shù)中增加'b'，這在爬蟲中處理媒體文件很常用。參數(shù)'rb'可以用來讀取一個二進(jìn)制文件。

3. 文件緩沖區(qū)

open函數(shù)中第三個可選參數(shù)buffering控制著文件的緩沖。

如果參數(shù)是0，I/O操作就是無緩沖的，直接將數(shù)據(jù)寫到硬盤上;如果參數(shù)是1，I/O操作就是有緩沖的，數(shù)據(jù)先寫到內(nèi)存里，只有使用flush函數(shù)或者close函數(shù)才會將數(shù)據(jù)更新到硬盤;如果參數(shù)為大于1的數(shù)字則代表緩沖區(qū)的大小(單位是字節(jié))，-1(或者是任何負(fù)數(shù))代表使用默認(rèn)緩沖區(qū)的大小。

4. 文件讀取

文件讀取主要是分為按字節(jié)讀取和按行進(jìn)行讀取，經(jīng)常用到的方法有read()、readlines()、close()。

在“>>>”輸入f = open(r'c:\text\qiye.txt')后，如果成功打開文本文件，接下來調(diào)用read()方法則可以一次性將文件內(nèi)容全部讀到內(nèi)存中，***返回的是str類型的對象：

>>> f.read() 
"qiye" 

***一步調(diào)用close()，可以關(guān)閉對文件的引用。文件使用完畢后必須關(guān)閉，因為文件對象會占用操作系統(tǒng)資源，影響系統(tǒng)的IO操作。

>>> f.close() 

由于文件操作可能會出現(xiàn)IO異常，一旦出現(xiàn)IO異常，后面的close()方法就不會調(diào)用。所以為了保證程序的健壯性，我們需要使用try ... finally來實(shí)現(xiàn)。

try: 
    f = open(r'c:\text\qiye.txt','r') 
    print f.read() 
finally: 
    if f: 
        f.close() 

上面的代碼略長，Python提供了一種簡單的寫法，使用with語句來替代try ... finally代碼塊和close()方法，如下所示：

with open(r'c:\text\qiye.txt','r') as fileReader: print fileReader.read()

調(diào)用read()一次將文件內(nèi)容讀到內(nèi)存，但是如果文件過大，將會出現(xiàn)內(nèi)存不足的問題。一般對于大文件，可以反復(fù)調(diào)用read(size)方法，一次最多讀取size個字節(jié)。如果文件是文本文件，Python提供了更加合理的做法，調(diào)用readline()可以每次讀取一行內(nèi)容，調(diào)用readlines()一次讀取所有內(nèi)容并按行返回列表。

大家可以根據(jù)自己的具體需求采取不同的讀取方式，例如小文件可以直接采取read()方法讀到內(nèi)存，大文件更加安全的方式是連續(xù)調(diào)用read(size)，而對于配置文件等文本文件，使用readline()方法更加合理。

將上面的代碼進(jìn)行修改，采用readline()的方式實(shí)現(xiàn)如下所示：

with open(r'c:\text\qiye.txt','r') as fileReader: 
    print fileReader.read() 

5. 文件寫入

寫文件和讀文件是一樣的，唯一的區(qū)別是在調(diào)用open方法時，傳入標(biāo)識符'w'或者'wb'表示寫入文本文件或者寫入二進(jìn)制文件，示例如下：

f = open(r'c:\text\qiye.txt','w') 
f.write('qiye') 
f.close() 

我們可以反復(fù)調(diào)用write()方法寫入文件，***必須使用close()方法來關(guān)閉文件。使用write()方法的時候，操作系統(tǒng)不是立即將數(shù)據(jù)寫入文件中的，而是先寫入內(nèi)存中緩存起來，等到空閑時候再寫入文件中，***使用close()方法就將數(shù)據(jù)完整地寫入文件中了。

當(dāng)然也可以使用f.flush()方法，不斷將數(shù)據(jù)立即寫入文件中，***使用close()方法來關(guān)閉文件。和讀文件同樣道理，文件操作中可能會出現(xiàn)IO異常，所以還是推薦使用with語句：

with open(r'c:\text\qiye.txt','w') as fileWriter: 
    fileWriter.write('qiye') 

02 操作文件和目錄

在Python中對文件和目錄的操作經(jīng)常用到os模塊和shutil模塊。接下來主要介紹一些操作文件和目錄的常用方法：

• 獲得當(dāng)前Python腳本工作的目錄路徑：

os.getcwd()。

• 返回指定目錄下的所有文件和目錄名：

os.listdir()。例如返回C盤下的文件：os.listdir("C:\\")

• 刪除一個文件：

os.remove(filepath)。

• 刪除多個空目錄：

os.removedirs(r"d:\python")。

• 檢驗給出的路徑是否是一個文件：

os.path.isfile(filepath)。

• 檢驗給出的路徑是否是一個目錄：

os.path.isdir(filepath)。

• 判斷是否是絕對路徑：

os.path.isabs()。

• 檢驗路徑是否真的存在：

os.path.exists()。例如檢測D盤下是否有Python文件夾：os.path.exists(r"d:\python")

• 分離一個路徑的目錄名和文件名：

os.path.split()。例如：os.path.split(r"/home/qiye/qiye.txt")，返回結(jié)果是一個元組：('/home/qiye', 'qiye.txt')。

• 分離擴(kuò)展名：

os.path.splitext()。例如os.path.splitext(r"/home/qiye/qiye.txt")，返回結(jié)果是一個元組：('/home/qiye/qiye', '.txt')。

• 獲取路徑名：

os.path.dirname(filetpah)。

• 獲取文件名：

os.path.basename(filepath)。

• 讀取和設(shè)置環(huán)境變量：

os.getenv()與os.putenv()。

• 給出當(dāng)前平臺使用的行終止符：

os.linesep。Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'。

• 指示你正在使用的平臺：

os.name。對于Windows，它是'nt'，而對于Linux/Unix用戶，它是'posix'。

• 重命名文件或者目錄：

os.rename(old,new)。

• 創(chuàng)建多級目錄：

os.makedirs(r"c:\python\test")。

• 創(chuàng)建單個目錄：

os.mkdir("test")。

• 獲取文件屬性：

os.stat(file)。

• 修改文件權(quán)限與時間戳：

os.chmod(file)。

• 獲取文件大?。?/strong>

d = dict(url='index.html',title='首頁',content='首頁') 

try: 
    import cPickle as pickle 
except ImportError: 
    import pickle 

>>> import cPickle as pickle 
>>> d = dict(url='index.html',title='首頁',content='首頁') 
>>> pickle.dumps(d) 
"(dp1\nS'content'\np2\nS'\\xca\\xd7\\xd2\\xb3'\np3\nsS'url'\np4\nS'index.html'\np5\nsS'title'\np6\ng3\ns." 

>>> f=open(r'D:\dump.txt','wb') 
>>> pickle.dump(d,f) 
>>> f.close() 

>>> f=open(r'D:\dump.txt','rb') 
>>> d=pickle.load(f) 
>>> f.close() 
>>> d 
{'content': '\xca\xd7\xd2\xb3', 'url': 'index.html', 'title': '\xca\xd7\xd2\xb3'}