作者 | 金色旭光

在過(guò)去的一個(gè)半月里我第一次作為后端開(kāi)發(fā)組長(zhǎng)角色參與公司項(xiàng)目從0到1的開(kāi)發(fā)，記錄這一次開(kāi)發(fā)的經(jīng)歷。

1、背景介紹

首先說(shuō)明一下背景。我所在的公司是做智慧社區(qū)相關(guān)業(yè)務(wù)，開(kāi)發(fā)的項(xiàng)目是系統(tǒng)升級(jí)工具，方便公司實(shí)施同事安裝和升級(jí)系統(tǒng)。

參與后端開(kāi)發(fā)一共四個(gè)人，包括我在內(nèi)。其他三個(gè)同事有一個(gè)是應(yīng)屆生、兩個(gè)做大數(shù)據(jù)的。按照公司的技術(shù)規(guī)劃，對(duì)內(nèi)項(xiàng)目開(kāi)發(fā)節(jié)奏要短平快，用Python語(yǔ)言完成，對(duì)外的項(xiàng)目一律用Java語(yǔ)言完成。

項(xiàng)目經(jīng)過(guò)正常開(kāi)發(fā)生命周期，包括需求采集、產(chǎn)品設(shè)計(jì)、系統(tǒng)設(shè)計(jì)、詳細(xì)設(shè)計(jì)、編碼、測(cè)試等過(guò)程。其中詳細(xì)設(shè)計(jì)就是針對(duì)接口做的詳細(xì)設(shè)計(jì)，一共用時(shí)3天完成，設(shè)計(jì)了45個(gè)功能點(diǎn)，包括40個(gè)接口和5個(gè)初始化準(zhǔn)備工作。編碼用時(shí)計(jì)劃為3周。最終在時(shí)間點(diǎn)之內(nèi)完成了相關(guān)的開(kāi)發(fā)。

我在這次開(kāi)發(fā)過(guò)程中擔(dān)任的是組長(zhǎng)的角色，主要的任務(wù)包括：

（1）項(xiàng)目框架的搭建。本次開(kāi)發(fā)是一個(gè)從0到1的過(guò)程，在此之前并沒(méi)有Python項(xiàng)目的框架。

（2）關(guān)鍵技術(shù)的實(shí)現(xiàn)。包括通用接口，復(fù)雜的技術(shù)點(diǎn)。

（3）任務(wù)分配。所有接口根據(jù)任務(wù)量分配給指定的成員，完成最多的接口開(kāi)發(fā)。

2、項(xiàng)目框架搭建

Python做web開(kāi)發(fā)常用的項(xiàng)目框架其實(shí)并不是很多，我的候選項(xiàng)有三個(gè)：

Django 前后端不分離框架、Flask 最容易上手的框架、FastAPI 異步高性能框架。

對(duì)比這三個(gè)框架，我從業(yè)務(wù)邏輯、公司技術(shù)棧、復(fù)雜度等三個(gè)角度出發(fā)，選擇了Flask。

業(yè)務(wù)邏輯

業(yè)務(wù)邏輯對(duì)性能并沒(méi)有特別要求，就是通過(guò)接口調(diào)用運(yùn)維的ansible腳本，沒(méi)有高并發(fā)，計(jì)算密集等任務(wù)，所以三個(gè)都能滿足。

技術(shù)棧

公司技術(shù)棧是前后端分離，所以Django這種前后端不分離的框架并不適合，雖然Django也可以做純后端開(kāi)發(fā)（防杠）。

復(fù)雜程度

復(fù)雜度來(lái)說(shuō)肯定是Flask最簡(jiǎn)單。Django號(hào)稱大而全，配置復(fù)雜。FastAPI是異步框架，需要學(xué)習(xí)異步編程，雖然用來(lái)做同步框架也很絲滑，但是學(xué)習(xí)成本需要增加很多。其他三個(gè)同事都沒(méi)有做過(guò)Python項(xiàng)目，所以盡量減少學(xué)習(xí)成本。

經(jīng)過(guò)這三個(gè)方向的衡量，最終確定了Flask框架，搭配peewee orm數(shù)據(jù)庫(kù)框架。核心的技術(shù)包括：

（1）web框架 Flask

（2）數(shù)據(jù)庫(kù)ORM框架 peewee

（3）數(shù)據(jù)庫(kù) sqlite

（4）運(yùn)維腳本執(zhí)行模塊 subprocess

（5）WSGI服務(wù) Gunicorn

（6）代碼檢查工具pre-commit

在編碼前我已經(jīng)準(zhǔn)備好完整的項(xiàng)目框架，寫好了數(shù)據(jù)庫(kù)CRUD接口的demo，后續(xù)開(kāi)發(fā)過(guò)程同事模仿相關(guān)接口，一定程度上提高了開(kāi)發(fā)效率。

3、關(guān)鍵技術(shù)實(shí)現(xiàn)

帶團(tuán)隊(duì)開(kāi)發(fā)并且是帶領(lǐng)成員第一次做Python項(xiàng)目，自然要將有挑戰(zhàn)的任務(wù)安排給自己。在關(guān)鍵技術(shù)的實(shí)現(xiàn)上挑選三個(gè)有代表性的講解。三個(gè)分別是：系統(tǒng)命令執(zhí)行通用接口、流式日志、sqlite 多線程寫問(wèn)題解決。

系統(tǒng)命令通用接口

項(xiàng)目主要用于公司開(kāi)發(fā)的其他系統(tǒng)安裝和升級(jí)，因此需要調(diào)用運(yùn)維人員用ansible編寫的相關(guān)腳本。調(diào)用的ansible腳本格式如下：

ansible-playbook 03.mysql.yml
ansible-playbook 08.zk.yml

需要到指定的路徑下執(zhí)行如上的命令。在詳細(xì)設(shè)計(jì)階段就知道需要使用Python調(diào)用系統(tǒng)命令的工具，所以就讓應(yīng)屆生同事調(diào)研了subprocess模塊，輸出相關(guān)文檔。一來(lái)是給新人一個(gè)學(xué)習(xí)方向，再則借這個(gè)機(jī)會(huì)熟悉項(xiàng)目需要的技術(shù)。

在開(kāi)發(fā)階段根據(jù)對(duì)相關(guān)模塊的理解，完成了通用接口的開(kāi)發(fā)。寫通用接口切忌朝令夕改，依賴它的代碼也要隨之變化。一兩次還能接受，次數(shù)多估計(jì)要被問(wèn)候祖宗了。所以該接口實(shí)現(xiàn)程度不僅僅是寫完，而且是自己親自調(diào)用，確認(rèn)沒(méi)有問(wèn)題才宣告完成。

在沒(méi)有完成之前耐著性子調(diào)試，直到?jīng)]有任何問(wèn)題才在群里告訴其他開(kāi)發(fā)人員。整個(gè)系統(tǒng)中需要大量的調(diào)用該命令執(zhí)行腳本，最終也都比較順利的完成，沒(méi)有因?yàn)榻涌谠斐傻腷ug。

流式日志

按照產(chǎn)品的設(shè)計(jì)，當(dāng)一個(gè)組件在安裝時(shí)需要在web頁(yè)面上展示日志，并且日志的格式要和終端中安裝日志一樣，也就是一行一行的滾動(dòng)打印。產(chǎn)品對(duì)日志的要求是全量滾動(dòng)展示，刷新頁(yè)面要能夠再次全量展示出來(lái)。為了實(shí)現(xiàn)該功能，調(diào)研了三個(gè)方案：

一、定時(shí)刷新。缺點(diǎn)：日志有幾萬(wàn)行，每一次讀取全部日志給前端，前端會(huì)卡頓，而且打印也不連續(xù)，體驗(yàn)不好。

二、websocket?？梢酝瓿珊蠖讼蚯岸说闹鲃?dòng)推送，但是刷新頁(yè)面并不會(huì)從頭開(kāi)始推送。

三、流式響應(yīng)?？梢詫⒋髩K文件切分成小塊分批傳給前端，刷新頁(yè)面時(shí)會(huì)再次從頭開(kāi)始推送，符合要求。

經(jīng)過(guò)對(duì)比最終使用了流式響應(yīng)，也就是ChatGPT那種響應(yīng)的方式。但是需要解決一個(gè)問(wèn)題：什么時(shí)候結(jié)束推送？因?yàn)榘惭b一邊向文件中寫入日志，流式日志一邊讀出日志，如果日志已經(jīng)讀完了安裝還沒(méi)結(jié)束，那這個(gè)時(shí)候肯定需要等待而不是停止響應(yīng)。

解決辦法是在安裝完成之后插入標(biāo)記字符，當(dāng)流式日志讀取到標(biāo)記字符時(shí)就表明結(jié)束了，沒(méi)有讀取到標(biāo)記字符則等待。核心代碼如下：

def log_flow():
    query = request.values
    log_path = query["log_path"]

    def generate():
        with open(log_path, "r") as f:
            while True:
                chunk = f.read(800)
                if not chunk or chunk.isspace():
                    time.sleep(0.1)
                if chunk == 800 * "-":
                    break
                content = json.dumps({"content": chunk})
                yield f"event: message\ndata: {content}\n\n"
                time.sleep(0.05)

return Flask_response(generate(), mimetype="text/event-stream"

效果：

sqlite3 多線程寫問(wèn)題

在數(shù)據(jù)庫(kù)存儲(chǔ)這一塊，領(lǐng)導(dǎo)欽定用sqlite3，咱也據(jù)理力爭(zhēng)過(guò)用MySQL，but無(wú)效。領(lǐng)導(dǎo)說(shuō)該項(xiàng)目只需要一個(gè)輕量的數(shù)據(jù)庫(kù)即可，sqlite3輕量，所以就很合適。而且其他項(xiàng)目中已經(jīng)使用的非常成熟了。好吧，既然領(lǐng)導(dǎo)堅(jiān)持，我也只能硬著頭皮上了。

開(kāi)始還沒(méi)問(wèn)題，到了項(xiàng)目開(kāi)發(fā)中后期就發(fā)現(xiàn)問(wèn)題了，接口經(jīng)常報(bào)錯(cuò)：

File "/home/ljk/.virtualenvs/idt_dev/lib/Python3.8/site-packages/peewee.py", line 3246, in execute_sql
cursor.execute(sql, params or ())
File "/home/ljk/.virtualenvs/idt_dev/lib/Python3.8/site-packages/peewee.py", line 3014, in __exit__
reraise(new_type, new_type(exc_value, *exc_args), traceback)
File "/home/ljk/.virtualenvs/idt_dev/lib/Python3.8/site-packages/peewee.py", line 192, in reraise
raise value.with_traceback(tb)
File "/home/ljk/.virtualenvs/idt_dev/lib/Python3.8/site-packages/peewee.py", line 3246, in execute_sql
cursor.execute(sql, params or ())
peewee.OperationalError: database is locked

查詢之后發(fā)現(xiàn)是sqlite3不支持多線程寫。sqlite3支持事務(wù)，是用庫(kù)鎖來(lái)完成的。當(dāng)一個(gè)寫入開(kāi)始后，整個(gè)數(shù)據(jù)庫(kù)都加鎖了，再次有寫操作就會(huì)報(bào)錯(cuò)。

這個(gè)問(wèn)題首先從技術(shù)上是不好解決的，sqlite3的架構(gòu)設(shè)計(jì)就是如此，還能讓它支持多線程寫嗎？只能通過(guò)業(yè)務(wù)邏輯解決。經(jīng)過(guò)一次會(huì)議討論之后，得出幾個(gè)解決方法：

• 分庫(kù)。將寫操作分到不同的庫(kù)里完成。既然寫操作會(huì)鎖庫(kù)，那就分出不同的庫(kù)，就能避免鎖庫(kù)的問(wèn)題。
• 全局寫隊(duì)列。將所有的寫放到一個(gè)消息隊(duì)列里面，將多線程的寫變成串行的寫。
• 全局寫標(biāo)識(shí)。所有的寫操作開(kāi)始前判斷是否有可寫標(biāo)識(shí)，能寫入就寫入，否則接口返回，告訴前端數(shù)據(jù)庫(kù)繁忙。

經(jīng)過(guò)投票，大家一致決定用第三種方式實(shí)現(xiàn)，技術(shù)難度最小，代碼侵入性最少。因?yàn)榈谌N方案是我提出來(lái)的，所以最終由我來(lái)完成。具體的過(guò)程可參見(jiàn)另一篇文檔《peewee操作sqlite鎖表問(wèn)題分析》。

最終是解決了該問(wèn)題，雖然不是優(yōu)雅，但是在目前的時(shí)間成本和風(fēng)險(xiǎn)控制上局部是最優(yōu)解了。后續(xù)將調(diào)研peewee這個(gè)ORM框架提供的sqliteQueueDatabase實(shí)現(xiàn)寫隊(duì)列。

摘錄于peewee擴(kuò)展插件playhouse：

SqliteQueueDatabase可作為常規(guī)SqliteDatabase。如果你想簡(jiǎn)單點(diǎn) read and write 從訪問(wèn)sqlite數(shù)據(jù)庫(kù)多線程.

SQLite在任何給定的時(shí)間只允許一個(gè)連接寫入數(shù)據(jù)庫(kù)。因此，如果您有一個(gè)多線程應(yīng)用程序（例如Web服務(wù)器）需要寫入數(shù)據(jù)庫(kù)，當(dāng)一個(gè)或多個(gè)嘗試寫入的線程無(wú)法獲取鎖時(shí)，您可能會(huì)偶爾看到錯(cuò)誤。

SqliteQueueDatabase 旨在通過(guò)一個(gè)長(zhǎng)期存在的連接發(fā)送所有寫查詢，從而簡(jiǎn)化操作。好處是，您可以看到多個(gè)線程在向數(shù)據(jù)庫(kù)寫入時(shí)沒(méi)有沖突或超時(shí)。但是，缺點(diǎn)是您不能發(fā)出包含多個(gè)查詢的寫事務(wù)——本質(zhì)上，所有寫操作都在自動(dòng)提交模式下運(yùn)行。

4、個(gè)人感受

第一次帶團(tuán)隊(duì)開(kāi)發(fā)，才明白很多事情。

做項(xiàng)目的主人公

第一真正理解什么叫主人公意識(shí)。各種文章都說(shuō)要對(duì)項(xiàng)目有主人公意識(shí)才能成長(zhǎng)更快。我感覺(jué)只有站在這樣一個(gè)位置上才能感受到這種意識(shí)。

項(xiàng)目進(jìn)度的第一責(zé)任人就是你，項(xiàng)目中出現(xiàn)了大大小小的問(wèn)題都是找你。領(lǐng)導(dǎo)會(huì)問(wèn)題項(xiàng)目進(jìn)度如何，有沒(méi)有阻塞，能不能按期完成？隊(duì)員會(huì)問(wèn)這個(gè)校驗(yàn)框架是否ok？這個(gè)語(yǔ)法有沒(méi)有問(wèn)題？測(cè)試會(huì)找你說(shuō)這個(gè)bug該給誰(shuí)的？所以你必須對(duì)這個(gè)項(xiàng)目了如指掌，小到代碼的一個(gè)配置項(xiàng)，大到工程進(jìn)度的把控。開(kāi)發(fā)過(guò)程中有任何問(wèn)題都得及時(shí)頂上，組長(zhǎng)就是一塊磚，哪里需要哪里搬~

團(tuán)隊(duì)和諧

再說(shuō)說(shuō)團(tuán)隊(duì)的和諧。以前做一個(gè)小開(kāi)發(fā)，只要完成自己的任務(wù)就可以了，團(tuán)隊(duì)的氛圍影響我寫代碼的速度嗎？帶團(tuán)隊(duì)開(kāi)發(fā)就不一樣。團(tuán)隊(duì)中有各種特點(diǎn)的同事，有埋頭苦干不匯報(bào)進(jìn)度的、有能力強(qiáng)脾氣差的、有脾氣好進(jìn)度慢的。總之各種性格的人都會(huì)存在。

本次開(kāi)發(fā)中就遇到了一個(gè)能力強(qiáng)脾氣差的，看到技術(shù)上小問(wèn)題就直接群里開(kāi)懟，誰(shuí)不是熱血小青年？第一次遇到這種情況可想而知。領(lǐng)導(dǎo)不得不為此找我們談話一兩次，甚至驚動(dòng)了大部門領(lǐng)導(dǎo)。那段時(shí)間團(tuán)隊(duì)氛圍特別差，沒(méi)有人說(shuō)話。我也不敢多說(shuō)什么，害怕氣氛更差，項(xiàng)目不能如期完成，到那個(gè)時(shí)候不是我的問(wèn)題也變成我的問(wèn)題了。所以只能選擇忍一忍，盡量回避分歧。好在領(lǐng)導(dǎo)的談話起到很大的作用，該安撫的安撫，該批評(píng)的批評(píng)，后來(lái)也沒(méi)有發(fā)生語(yǔ)言的沖突，順利按期完成項(xiàng)目。

總結(jié)

第一次帶團(tuán)隊(duì)做項(xiàng)目對(duì)我來(lái)說(shuō)是一次挑戰(zhàn)和提高。從技術(shù)層面講讓我以后面對(duì)技術(shù)選型時(shí)能以更高的角度看待問(wèn)題；從個(gè)人角度講這是一次難得的機(jī)會(huì)讓我負(fù)責(zé)開(kāi)發(fā)團(tuán)隊(duì)，對(duì)接測(cè)試團(tuán)隊(duì)、前端團(tuán)隊(duì)、運(yùn)維團(tuán)隊(duì)等。這對(duì)我的溝通交流都是一次鍛煉。

最后，希望下一次做的更好，讓所有組員都能有一些進(jìn)步。