你可能不知道的 Python 技巧
有許許多多文章寫了 Python 中的許多很酷的特性，例如變量解包、偏函數(shù)、枚舉可迭代對(duì)象，但是關(guān)于 Python 還有很多要討論的話題，因此在本文中，我將嘗試展示一些我知道的和在使用的，但很少在其它文章提到過的特性。那就開始吧。
1、對(duì)輸入的字符串“消毒”
對(duì)用戶輸入的內(nèi)容“消毒”，這問題幾乎適用于你編寫的所有程序。通常將字符轉(zhuǎn)換為小寫或大寫就足夠了，有時(shí)你還可以使用正則表達(dá)式來完成工作，但是對(duì)于復(fù)雜的情況，還有更好的方法：
- user_input = "This\nstring has\tsome whitespaces...\r\n"
- character_map = {
- ord('\n') : ' ',
- ord('\t') : ' ',
- ord('\r') : None
- }
- user_input.translate(character_map) # This string has some whitespaces... "
在此示例中，你可以看到空格字符“ \n”和“ \t”被單個(gè)空格替換了，而“ \r”則被完全刪除。這是一個(gè)簡(jiǎn)單的示例，但是我們可以更進(jìn)一步，使用unicodedata 庫及其 combining() 函數(shù)，來生成更大的重映射表(remapping table)，并用它來刪除字符串中所有的重音。
2、對(duì)迭代器切片
如果你嘗試直接對(duì)迭代器切片，則會(huì)得到 TypeError ，提示說該對(duì)象不可取下標(biāo)(not subscriptable)，但是有一個(gè)簡(jiǎn)單的解決方案：
- import itertools
- s = itertools.islice(range(50), 10, 20) # <itertools.islice object at 0x7f70fab88138>
- for val in s:
- ...
使用itertools.islice，我們可以創(chuàng)建一個(gè) islice 對(duì)象，該對(duì)象是一個(gè)迭代器，可以生成我們所需的內(nèi)容。但是這有個(gè)重要的提醒，即它會(huì)消耗掉切片前以及切片對(duì)象 islice 中的所有元素。
(譯注：更多關(guān)于迭代器切片的內(nèi)容，可閱讀Python進(jìn)階：迭代器與迭代器切片)
3、跳過可迭代對(duì)象的開始
有時(shí)候你必須處理某些文件，它們以可變數(shù)量的不需要的行(例如注釋)為開頭。itertools 再次提供了簡(jiǎn)單的解決方案：
- string_from_file = """
- // Author: ...
- // License: ...
- //
- // Date: ...
- Actual content...
- """
- import itertools
- for line in itertools.dropwhile(lambda line:line.startswith("//"), string_from_file.split("\n")):
- print(line)
這段代碼僅會(huì)打印在初始的注釋部分之后的內(nèi)容。如果我們只想丟棄迭代器的開頭部分(在此例中是注釋)，并且不知道有多少內(nèi)容，那么此方法很有用。
4、僅支持關(guān)鍵字參數(shù)(kwargs)的函數(shù)
當(dāng)需要函數(shù)提供(強(qiáng)制)更清晰的參數(shù)時(shí)，創(chuàng)建僅支持關(guān)鍵字參數(shù)的函數(shù)，可能會(huì)挺有用：
- def test(*, a, b):
- pass
- test("value for a", "value for b") # TypeError: test() takes 0 positional arguments...
- test(a="value", b="value 2") # Works...
如你所見，可以在關(guān)鍵字參數(shù)之前，放置單個(gè) * 參數(shù)來輕松解決此問題。如果我們將位置參數(shù)放在 * 參數(shù)之前，則顯然也可以有位置參數(shù)。
5、創(chuàng)建支持 with 語句的對(duì)象
我們都知道如何使用 with 語句，例如打開文件或者是獲取鎖，但是我們可以實(shí)現(xiàn)自己的么?是的，我們可以使用__enter__ 和__exit__ 方法來實(shí)現(xiàn)上下文管理器協(xié)議：
- class Connection:
- def __init__(self):
- ...
- def __enter__(self):
- # Initialize connection...
- def __exit__(self, type, value, traceback):
- # Close connection...
- with Connection() as c:
- # __enter__() executes
- ...
- # conn.__exit__() executes
這是在 Python 中實(shí)現(xiàn)上下文管理的最常見方法，但是還有一種更簡(jiǎn)單的方法：
- from contextlib import contextmanager
- @contextmanager
- def tag(name):
- print(f"<{name}>")
- yield
- print(f"</{name}>")
- with tag("h1"):
- print("This is Title.")
上面的代碼段使用 contextmanager 裝飾器實(shí)現(xiàn)了內(nèi)容管理協(xié)議。tag 函數(shù)的第一部分(yield 之前)會(huì)在進(jìn)入 with 語句時(shí)執(zhí)行，然后執(zhí)行 with 的代碼塊，最后會(huì)執(zhí)行 tag 函數(shù)的剩余部分。
6、用__slots__節(jié)省內(nèi)存
如果你曾經(jīng)編寫過一個(gè)程序，該程序創(chuàng)建了某個(gè)類的大量實(shí)例，那么你可能已經(jīng)注意到你的程序突然就需要大量?jī)?nèi)存。那是因?yàn)? Python 使用字典來表示類實(shí)例的屬性，這能使其速度變快，但內(nèi)存不是很高效。通常這不是個(gè)問題，但是，如果你的程序遇到了問題，你可以嘗試使用__slots__ ：
- class Person:
- __slots__ = ["first_name", "last_name", "phone"]
- def __init__(self, first_name, last_name, phone):
- self.first_name = first_name
- self.last_name = last_name
- self.phone = phone
這里發(fā)生的是，當(dāng)我們定義__slots__屬性時(shí)，Python 使用固定大小的小型數(shù)組，而不是字典，這大大減少了每個(gè)實(shí)例所需的內(nèi)存。使用__slots__還有一些缺點(diǎn)——我們無法聲明任何新的屬性，并且只能使用在__slots__中的屬性。同樣，帶有__slots__的類不能使用多重繼承。
7、限制CPU和內(nèi)存使用量
如果不是想優(yōu)化程序內(nèi)存或 CPU 使用率，而是想直接將其限制為某個(gè)固定數(shù)字，那么 Python 也有一個(gè)庫能做到：
- import signal
- import resource
- import os
- # To Limit CPU time
- def time_exceeded(signo, frame):
- print("CPU exceeded...")
- raise SystemExit(1)
- def set_max_runtime(seconds):
- # Install the signal handler and set a resource limit
- soft, hard = resource.getrlimit(resource.RLIMIT_CPU)
- resource.setrlimit(resource.RLIMIT_CPU, (seconds, hard))
- signal.signal(signal.SIGXCPU, time_exceeded)
- # To limit memory usage
- def set_max_memory(size):
- soft, hard = resource.getrlimit(resource.RLIMIT_AS)
- resource.setrlimit(resource.RLIMIT_AS, (size, hard))
在這里，我們可以看到兩個(gè)選項(xiàng)，可設(shè)置最大 CPU 運(yùn)行時(shí)間和內(nèi)存使用上限。對(duì)于 CPU 限制，我們首先獲取該特定資源(RLIMIT_CPU)的軟限制和硬限制，然后通過參數(shù)指定的秒數(shù)和先前獲取的硬限制來設(shè)置它。最后，如果超過 CPU 時(shí)間，我們將注冊(cè)令系統(tǒng)退出的信號(hào)。至于內(nèi)存，我們?cè)俅潍@取軟限制和硬限制，并使用帶有 size 參數(shù)的setrlimit 和獲取的硬限制對(duì)其進(jìn)行設(shè)置。
8、控制可以import的內(nèi)容
某些語言具有非常明顯的用于導(dǎo)出成員(變量、方法、接口)的機(jī)制，例如Golang，它僅導(dǎo)出以大寫字母開頭的成員。另一方面，在 Python 中，所有內(nèi)容都會(huì)被導(dǎo)出，除非我們使用__all__ ：
- def foo():
- pass
- def bar():
- pass
- __all__ = ["bar"]
使用上面的代碼段，我們可以限制from some_module import * 在使用時(shí)可以導(dǎo)入的內(nèi)容。對(duì)于以上示例，通配導(dǎo)入時(shí)只會(huì)導(dǎo)入 bar。此外，我們可以將__all__ 設(shè)為空，令其無法導(dǎo)出任何東西，并且在使用通配符方式從此模塊中導(dǎo)入時(shí)，將引發(fā) AttributeError。
9、比較運(yùn)算符的簡(jiǎn)便方法
為一個(gè)類實(shí)現(xiàn)所有比較運(yùn)算符可能會(huì)很煩人，因?yàn)橛泻芏嗟谋容^運(yùn)算符——__lt__、__le__、__gt__ 或__ge__。但是，如果有更簡(jiǎn)單的方法呢?functools.total_ordering 可救場(chǎng)：
- from functools import total_ordering
- @total_ordering
- class Number:
- def __init__(self, value):
- self.value = value
- def __lt__(self, other):
- return self.value < other.value
- def __eq__(self, other):
- return self.value == other.value
- print(Number(20) > Number(3))
- print(Number(1) < Number(5))
- print(Number(15) >= Number(15))
- print(Number(10) <= Number(2))
這到底如何起作用的?total_ordering 裝飾器用于簡(jiǎn)化為我們的類實(shí)例實(shí)現(xiàn)排序的過程。只需要定義__lt__ 和__eq__，這是最低的要求，裝飾器將映射剩余的操作——它為我們填補(bǔ)了空白。
( 譯注： 原作者的文章分為兩篇，為了方便讀者們閱讀，我特將它們整合在一起，以下便是第二篇的內(nèi)容。)
10、使用slice函數(shù)命名切片
使用大量硬編碼的索引值會(huì)很快搞亂維護(hù)性和可讀性。一種做法是對(duì)所有索引值使用常量，但是我們可以做得更好：
- # ID First Name Last Name
- line_record = "2 John Smith"
- ID = slice(0, 8)
- FIRST_NAME = slice(9, 21)
- LAST_NAME = slice(22, 27)
- name = f"{line_record[FIRST_NAME].strip()} {line_record[LAST_NAME].strip()}"
- # name == "John Smith"
在此例中，我們可以避免神秘的索引，方法是先使用 slice 函數(shù)命名它們，然后再使用它們。你還可以通過 .start、.stop和 .stop 屬性，來了解 slice 對(duì)象的更多信息。
11、在運(yùn)行時(shí)提示用戶輸入密碼
許多命令行工具或腳本需要用戶名和密碼才能操作。因此，如果你碰巧寫了這樣的程序，你可能會(huì)發(fā)現(xiàn) getpass 模塊很有用：
- import getpass
- user = getpass.getuser()
- password = getpass.getpass()
- # Do Stuff...
這個(gè)非常簡(jiǎn)單的包通過提取當(dāng)前用戶的登錄名，可以提示用戶輸入密碼。但是須注意，并非每個(gè)系統(tǒng)都支持隱藏密碼。Python 會(huì)嘗試警告你，因此切記在命令行中閱讀警告信息。
12、查找單詞/字符串的相近匹配
現(xiàn)在，關(guān)于 Python 標(biāo)準(zhǔn)庫中一些晦澀難懂的特性。如果你發(fā)現(xiàn)自己需要使用Levenshtein distance 【2】之類的東西，來查找某些輸入字符串的相似單詞，那么 Python 的 difflib 會(huì)為你提供支持。
- import difflib
- difflib.get_close_matches('appel', ['ape', 'apple', 'peach', 'puppy'], n=2)
- # returns ['apple', 'ape']
difflib.get_close_matches 會(huì)查找最佳的“足夠好”的匹配。在這里，第一個(gè)參數(shù)與第二個(gè)參數(shù)匹配。我們還可以提供可選參數(shù) n ，該參數(shù)指定要返回的最多匹配結(jié)果。另一個(gè)可選的關(guān)鍵字參數(shù) cutoff (默認(rèn)值為 0.6)，可以設(shè)置字符串匹配得分的閾值。
13、使用IP地址
如果你必須使用 Python 做網(wǎng)絡(luò)開發(fā)，你可能會(huì)發(fā)現(xiàn) ipaddress 模塊非常有用。一種場(chǎng)景是從 CIDR(無類別域間路由 Classless Inter-Domain Routing)生成一系列 IP 地址：
- import ipaddress
- net = ipaddress.ip_network('74.125.227.0/29') # Works for IPv6 too
- # IPv4Network('74.125.227.0/29')
- for addr in net:
- print(addr)
- # 74.125.227.0
- # 74.125.227.1
- # 74.125.227.2
- # 74.125.227.3
- # ...
另一個(gè)不錯(cuò)的功能是檢查 IP 地址的網(wǎng)絡(luò)成員資格：
- ip = ipaddress.ip_address("74.125.227.3")
- ip in net
- # True
- ip = ipaddress.ip_address("74.125.227.12")
- ip in net
- # False
還有很多有趣的功能，在這里【3】可以找到，我不再贅述。但是請(qǐng)注意，ipaddress 模塊和其它與網(wǎng)絡(luò)相關(guān)的模塊之間只有有限的互通性。例如，你不能將 IPv4Network 實(shí)例當(dāng)成地址字符串——需要先使用 str 轉(zhuǎn)換它們。
14、在Shell中調(diào)試程序崩潰
如果你是一個(gè)拒絕使用 IDE，并在 Vim 或 Emacs 中進(jìn)行編碼的人，那么你可能會(huì)遇到這樣的情況：擁有在 IDE 中那樣的調(diào)試器會(huì)很有用。
你知道嗎?你有一個(gè)——只要用python3.8 -i 運(yùn)行你的程序——一旦你的程序終止了， -i 會(huì)啟動(dòng)交互式 shell，在那你可以查看所有的變量和調(diào)用函數(shù)。整潔，但是使用實(shí)際的調(diào)試器(pdb )會(huì)如何呢?讓我們用以下程序(script.py )：
- def func():
- return 0 / 0
- func()
并使用python3.8 -i script.py運(yùn)行腳本：
- # Script crashes...
- Traceback (most recent call last):
- File "script.py", line 4, in <module>
- func()
- File "script.py", line 2, in func
- return 0 / 0
- ZeroDivisionError: division by zero
- >>> import pdb
- >>> pdb.pm() # Post-mortem debugger
- > script.py(2)func()
- -> return 0 / 0
- (Pdb)
我們看到了崩潰的地方，現(xiàn)在讓我們?cè)O(shè)置一個(gè)斷點(diǎn)：
- def func():
- breakpoint() # import pdb; pdb.set_trace()
- return 0 / 0
- func()
現(xiàn)在再次運(yùn)行它：
- script.py(3)func()
- -> return 0 / 0
- (Pdb) # we start here
- (Pdb) step
- ZeroDivisionError: division by zero
- > script.py(3)func()
- -> return 0 / 0
- (Pdb)
大多數(shù)時(shí)候，打印語句和錯(cuò)誤信息就足以進(jìn)行調(diào)試，但是有時(shí)候，你需要四處摸索，以了解程序內(nèi)部正在發(fā)生的事情。在這些情況下，你可以設(shè)置斷點(diǎn)，然后程序執(zhí)行時(shí)將在斷點(diǎn)處停下，你可以檢查程序，例如列出函數(shù)參數(shù)、表達(dá)式求值、列出變量、或如上所示僅作單步執(zhí)行。
pdb 是功能齊全的 Python shell，理論上你可以執(zhí)行任何東西，但是你還需要一些調(diào)試命令，可在此處【4】找到。
15、在一個(gè)類中定義多個(gè)構(gòu)造函數(shù)
函數(shù)重載是編程語言(不含 Python)中非常常見的功能。即使你不能重載正常的函數(shù)，你仍然可以使用類方法重載構(gòu)造函數(shù)：
- import datetime
- class Date:
- def __init__(self, year, month, day):
- self.year = year
- self.month = month
- self.day = day
- @classmethod
- def today(cls):
- t = datetime.datetime.now()
- return cls(t.year, t.month, t.day)
- d = Date.today()
- print(f"{d.day}/{d.month}/{d.year}")
- # 14/9/2019
你可能傾向于將替代構(gòu)造函數(shù)的所有邏輯放入__init__，并使用*args 、**kwargs 和一堆 if 語句，而不是使用類方法來解決。那可能行得通，但是卻變得難以閱讀和維護(hù)。
因此，我建議將很少的邏輯放入__init__，并在單獨(dú)的方法/構(gòu)造函數(shù)中執(zhí)行所有操作。這樣，對(duì)于類的維護(hù)者和用戶而言，得到的都是干凈的代碼。
16、使用裝飾器緩存函數(shù)調(diào)用
你是否曾經(jīng)編寫過一種函數(shù)，它執(zhí)行昂貴的 I/O 操作或一些相當(dāng)慢的遞歸，而且該函數(shù)可能會(huì)受益于對(duì)其結(jié)果進(jìn)行緩存(存儲(chǔ))?如果你有，那么有簡(jiǎn)單的解決方案，即使用 functools 的lru_cache :
- from functools import lru_cache
- import requests
- @lru_cache(maxsize=32)
- def get_with_cache(url):
- try:
- r = requests.get(url)
- return r.text
- except:
- return "Not Found"
- for url in ["https://google.com/",
- "https://martinheinz.dev/",
- "https://reddit.com/",
- "https://google.com/",
- "https://dev.to/martinheinz",
- "https://google.com/"]:
- get_with_cache(url)
- print(get_with_cache.cache_info())
- # CacheInfo(hits=2, misses=4, maxsize=32, currsize=4)
在此例中，我們用了可緩存的 GET 請(qǐng)求(最多 32 個(gè)緩存結(jié)果)。你還可以看到，我們可以使用 cache_info 方法檢查函數(shù)的緩存信息。裝飾器還提供了 clear_cache 方法，用于使緩存結(jié)果無效。
我還想指出，此函數(shù)不應(yīng)與具有副作用的函數(shù)一起使用，或與每次調(diào)用都創(chuàng)建可變對(duì)象的函數(shù)一起使用。
17、在可迭代對(duì)象中查找最頻繁出現(xiàn)的元素
在列表中查找最常見的元素是非常常見的任務(wù)，你可以使用 for 循環(huán)和字典(map)，但是這沒必要，因?yàn)? collections 模塊中有 Counter 類：
- from collections import Counter
- cheese = ["gouda", "brie", "feta", "cream cheese", "feta", "cheddar",
- "parmesan", "parmesan", "cheddar", "mozzarella", "cheddar", "gouda",
- "parmesan", "camembert", "emmental", "camembert", "parmesan"]
- cheese_count = Counter(cheese)
- print(cheese_count.most_common(3))
- # Prints: [('parmesan', 4), ('cheddar', 3), ('gouda', 2)]
實(shí)際上，Counter 只是一個(gè)字典，將元素與出現(xiàn)次數(shù)映射起來，因此你可以將其用作普通字典：
python print(cheese_count["mozzarella"]) ¨K40K cheese_count["mozzarella"] += 1 print(cheese_count["mozzarella"]) ¨K41K
除此之外，你還可以使用 update(more_words) 方法輕松添加更多元素。Counter 的另一個(gè)很酷的特性是你可以使用數(shù)學(xué)運(yùn)算(加法和減法)來組合和減去 Counter 的實(shí)例。
小結(jié)
在日常 Python 編程中，并非所有這些特性都是必不可少的和有用的，但是其中一些特性可能會(huì)時(shí)不時(shí)派上用場(chǎng)，并且它們也可能簡(jiǎn)化任務(wù)，而這本來可能很冗長(zhǎng)且令人討厭。
我還要指出的是，所有這些特性都是 Python 標(biāo)準(zhǔn)庫的一部分，雖然在我看來，其中一些特性非常像是標(biāo)準(zhǔn)庫中的非標(biāo)準(zhǔn)內(nèi)容。因此，每當(dāng)你要在 Python 中實(shí)現(xiàn)某些功能時(shí)，首先可在標(biāo)準(zhǔn)庫查看，如果找不到，那你可能看得還不夠仔細(xì)(如果它確實(shí)不存在，那么肯定在某些三方庫中)。
如果你使用 Python，那么我認(rèn)為在這里分享的大多數(shù)技巧幾乎每天都會(huì)有用，因此我希望它們會(huì)派上用場(chǎng)。另外，如果你對(duì)這些 Python 技巧和騷操作有任何想法，或者如果你知道解決上述問題的更好方法，請(qǐng)告訴我!
