如何在生產(chǎn)環(huán)境下用好EFCore
在生產(chǎn)中運(yùn)用EFCore的模式實(shí)戰(zhàn)
這是使用EF Core遷移數(shù)據(jù)庫(kù)的系列文章中的第二篇。本文著眼于將遷移應(yīng)用于數(shù)據(jù)庫(kù),并從第1部分開(kāi)始,該部分介紹了如何創(chuàng)建遷移腳本。如果您還沒(méi)有閱讀第1部分,那么本文的某些部分將毫無(wú)意義,因此這里是第1部分的快速回顧。
可以將兩種類型的遷移應(yīng)用于數(shù)據(jù)庫(kù):
- 添加新的表,列等,稱為不間斷的更改(簡(jiǎn)單)。
- 更改列/表并需要復(fù)制數(shù)據(jù),這稱為重大更改(困難)。
- 將遷移應(yīng)用于數(shù)據(jù)庫(kù)的主要方法有兩種
- 使用EF Core遷移功能
- 使用EF Core創(chuàng)建遷移,然后手動(dòng)修改遷移。
- 使用第三方遷移構(gòu)建器在C#中編寫遷移。
- 使用SQL數(shù)據(jù)庫(kù)比較工具比較數(shù)據(jù)庫(kù)并輸出SQL更改腳本。
- 通過(guò)復(fù)制EF Core的SQL編寫自己的SQL遷移腳本。
因此,既然您現(xiàn)在知道如何創(chuàng)建遷移腳本,那么我將研究可以將遷移應(yīng)用于生產(chǎn)數(shù)據(jù)庫(kù)的不同方式,以及這些方式所具有的利弊。
TL; DR –內(nèi)容摘要
注意:?jiǎn)螕翩溄涌芍苯愚D(zhuǎn)到涵蓋該點(diǎn)的部分。
- 您具有影響遷移方法可以使用的應(yīng)用程序的類型。?您必須考慮可能發(fā)生的錯(cuò)誤并制定計(jì)劃。?有四種方法可以將遷移應(yīng)用于數(shù)據(jù)庫(kù)
- 在啟動(dòng)時(shí)調(diào)用context.Database.Migrate()Very Easy,但是存在一些嚴(yán)重的問(wèn)題,限制了它的實(shí)用性。
- 通過(guò)控制臺(tái)應(yīng)用程序調(diào)用context.Database.Migrate()-Easy,并且效果很好,尤其是在部署管道中
- 將EF Core遷移輸出為SQL腳本并在目標(biāo)數(shù)據(jù)庫(kù)上執(zhí)行該腳本 -Hard,但是卻能提供很好的控制。
- 使用數(shù)據(jù)庫(kù)遷移應(yīng)用程序工具來(lái)應(yīng)用您自己的SQL腳本 -Hard,但是您卻可以很好地控制。
- 應(yīng)用遷移的三個(gè)不同級(jí)別。
- 在遷移數(shù)據(jù)庫(kù)時(shí)停止應(yīng)用程序是最安全的選擇,但并非總是可能的。
- 在應(yīng)用程序運(yùn)行時(shí),可以將某些(但不是全部)不間斷的更改應(yīng)用于數(shù)據(jù)庫(kù)。
- 對(duì)于連續(xù)服務(wù)應(yīng)用程序(7*24小時(shí)運(yùn)行的服務(wù)),要應(yīng)用重大更改需要五個(gè)步驟。
場(chǎng)景分析–您的產(chǎn)品是哪種應(yīng)用程序?
在第1部分中,我們著重于創(chuàng)建“有效”的遷移,以及遷移是不間斷的變更還是重大變更(請(qǐng)參閱本文開(kāi)頭的快速定義,或第1部分中的此鏈接。
現(xiàn)在,我們正在考慮將遷移應(yīng)用于數(shù)據(jù)庫(kù),但是我們擁有的選項(xiàng)取決于正在訪問(wèn)數(shù)據(jù)庫(kù)的一個(gè)或多個(gè)應(yīng)用程序。這是您需要考慮的問(wèn)題。
1.是只有一個(gè)應(yīng)用程序訪問(wèn)該數(shù)據(jù)庫(kù),還是您的應(yīng)用程序是橫向擴(kuò)展的Web應(yīng)用程序,即,同時(shí)運(yùn)行多個(gè)版本的應(yīng)用程序。如果您的應(yīng)用程序是橫向擴(kuò)展,則將刪除其中一個(gè)選項(xiàng)。2.您可以在將遷移應(yīng)用到數(shù)據(jù)庫(kù)時(shí)停止應(yīng)用程序,還是您的應(yīng)用程序提供7*24小時(shí)連續(xù)服務(wù)?在應(yīng)用重大變更方面,更新連續(xù)服務(wù)應(yīng)用程序會(huì)帶來(lái)一些挑戰(zhàn)。
在遷移生產(chǎn)數(shù)據(jù)庫(kù)時(shí),有點(diǎn)偏執(zhí)是可以的。
正如我在第1部分末尾所說(shuō)的那樣-當(dāng)您將遷移應(yīng)用于生產(chǎn)數(shù)據(jù)庫(kù)時(shí),最恐怖的部分到來(lái)了。更改包含關(guān)鍵業(yè)務(wù)數(shù)據(jù)需求(需求!)的數(shù)據(jù)庫(kù),請(qǐng)仔細(xì)計(jì)劃和測(cè)試。您需要考慮如果(何時(shí)!)遷移因錯(cuò)誤而失敗時(shí)該怎么辦。
在考慮應(yīng)用遷移的不同方法時(shí),您應(yīng)該腦海中浮現(xiàn)“如果有錯(cuò)誤會(huì)發(fā)生什么?”。這可能會(huì)促使您采用更復(fù)雜的遷移方法,因?yàn)樗子跍y(cè)試或還原。我不能為您提供規(guī)則或建議,因?yàn)槊總€(gè)系統(tǒng)都不同,但是對(duì)故障有點(diǎn)偏執(zhí)并不是一件壞事。我應(yīng)該讓您構(gòu)建一個(gè)更健壯的用于遷移應(yīng)用程序及其數(shù)據(jù)庫(kù)的系統(tǒng)。
第2部分:如何將遷移應(yīng)用于數(shù)據(jù)庫(kù)。
下面的列表提供了將遷移應(yīng)用于數(shù)據(jù)庫(kù)的不同方法。我列出了EF Core案例的三個(gè)選項(xiàng):第一個(gè)是最簡(jiǎn)單的,但是它有其他兩個(gè)選項(xiàng)所沒(méi)有的限制。SQL遷移沒(méi)有實(shí)際限制,但確實(shí)需要數(shù)據(jù)庫(kù)遷移應(yīng)用程序工具才能以正確的順序應(yīng)用SQL腳本。
這是您可以應(yīng)用遷移的方法列表。
1.EFCore遷移
- 在啟動(dòng)時(shí)調(diào)用context.Database.Migrate()
- 通過(guò)控制臺(tái)應(yīng)用程序或管理命令調(diào)用context.Database.Migrate()
- 將遷移輸出作為SQL腳本輸出,然后在目標(biāo)數(shù)據(jù)庫(kù)上執(zhí)行該腳本。
2.SQL遷移
使用數(shù)據(jù)庫(kù)遷移應(yīng)用程序工具。
最后,如何應(yīng)用遷移取決于遷移類型(中斷或不中斷)和要更新的應(yīng)用程序類型(單個(gè)應(yīng)用程序,并行運(yùn)行的多個(gè)應(yīng)用程序或必須停止的應(yīng)用程序)。這是所有這些排列的圖表。
外部的深藍(lán)色表示可以在所有情況下都應(yīng)用SQL遷移,而內(nèi)部較淺的方框表示可以在其中添加不同類型的EF Core遷移。以下是有關(guān)該圖的一些澄清說(shuō)明:
- 該圖顯示了標(biāo)準(zhǔn)EF遷移和手工修改的EF遷移,但是當(dāng)我談?wù)搼?yīng)用遷移時(shí),兩者之間沒(méi)有區(qū)別-我們很簡(jiǎn)單地應(yīng)用EF Core遷移。?圖中的“五個(gè)階段的應(yīng)用程序更新”紅色框表示您需要對(duì)無(wú)法停止的應(yīng)用程序進(jìn)行重大更改所需要的復(fù)雜階段。我將在文章末尾介紹。
現(xiàn)在,我將詳細(xì)介紹應(yīng)用遷移的每種方式。
1a。在啟動(dòng)時(shí)調(diào)用context.Database.Migrate()
到目前為止,這是應(yīng)用遷移的最簡(jiǎn)單方法,但是它有一個(gè)很大的局限性–您不應(yīng)同時(shí)運(yùn)行Migrate方法的多個(gè)實(shí)例。如果橫向擴(kuò)展Web應(yīng)用程序,則可能會(huì)發(fā)生這種情況。引用安德魯·洛克(Andrew Lock)的話:“
我們不能保證這會(huì)給您帶來(lái)麻煩,但是除非您非常謹(jǐn)慎地確保冪等更新和錯(cuò)誤處理,否則您很可能會(huì)陷入困境
” –請(qǐng)參閱他的帖子的這一部分“ 在ASP.NET Core中的應(yīng)用啟動(dòng)時(shí)運(yùn)行異步任務(wù)[1] ”。
好處 | ·相對(duì)容易實(shí)現(xiàn)(請(qǐng)參閱提示) ·確保在應(yīng)用程序運(yùn)行之前數(shù)據(jù)庫(kù)是最新的。 |
壞處 | ·不得并行運(yùn)行兩個(gè)或多個(gè)Migrate方法。·如果遷移有錯(cuò)誤,則您的應(yīng)用程序?qū)⒉豢捎谩?middot;難以診斷啟動(dòng)錯(cuò)誤 |
局限性 | 不適用于連續(xù)服務(wù)系統(tǒng) |
提示 | 我非常喜歡Andrew Lock的文章中的在啟動(dòng)時(shí)運(yùn)行遷移的選項(xiàng)[2]。我在一些使用內(nèi)存數(shù)據(jù)庫(kù)的演示系統(tǒng)中使用了類似的方法,這些數(shù)據(jù)庫(kù)需要初始化(請(qǐng)參見(jiàn)本示例[3]) |
我的建議 | 如果您正在運(yùn)行單個(gè)Web應(yīng)用程序或類似的Web應(yīng)用程序,并且可以在沒(méi)有人使用它的情況下更新系統(tǒng),那么這可能對(duì)您有用。我沒(méi)有像我使用的許多系統(tǒng)那樣使用橫向擴(kuò)展。 |
1b。通過(guò)控制臺(tái)應(yīng)用程序或管理命令調(diào)用context.Database.Migrate()
如果您不能并行運(yùn)行多個(gè)Migrate方法,那么確保此方法的一種方法是在設(shè)計(jì)為僅執(zhí)行Migrate方法的獨(dú)立應(yīng)用程序內(nèi)調(diào)用Migrate方法。您可以在主Web應(yīng)用程序解決方案中添加一個(gè)控制臺(tái)應(yīng)用程序項(xiàng)目,該項(xiàng)目可以訪問(wèn)DbContext并可以調(diào)用Migrate。您既可以自己運(yùn)行它,也可以讓您的部署系統(tǒng)運(yùn)行它(EF6.x用戶注意–這等效于運(yùn)行Migrate.exe,但其中已編譯應(yīng)用程序dll)。
好處 | ·它適用于所有情況。·與部署系統(tǒng)配合良好。 |
壞處 | 還有更多工作。 |
局限性 | –無(wú)–,但請(qǐng)注意持續(xù)進(jìn)行的五階段應(yīng)用程序更新 |
提示 | 如果您的控制臺(tái)應(yīng)用程序使用連接字符串來(lái)定義要將遷移應(yīng)用到哪個(gè)數(shù)據(jù)庫(kù),那么它將更易于在部署管道中使用。 |
我的建議 | 如果您具有部署管道,那么這是一個(gè)不錯(cuò)的選擇,因?yàn)槟梢栽诓渴疬^(guò)程中執(zhí)行控制臺(tái)應(yīng)用程序。如果您是手動(dòng)應(yīng)用遷移,則有命令Update-Database。 |
1c。將EF Core遷移轉(zhuǎn)換為腳本并將其應(yīng)用于數(shù)據(jù)庫(kù)
通過(guò)使用腳本遷移命令EF Core會(huì)將特定的遷移或默認(rèn)情況下的所有遷移轉(zhuǎn)換為SQL腳本。然后,您可以使用可以在要更新的特定數(shù)據(jù)庫(kù)上執(zhí)行SQL的方法來(lái)應(yīng)用此方法。您可以在SQL Server Management Studio中手動(dòng)執(zhí)行SQL ,但是通常您的發(fā)布管道中有一些內(nèi)容可以在適當(dāng)?shù)臅r(shí)間執(zhí)行。
好處 | ·它適用于所有情況。·與可以使用SQL腳本的部署系統(tǒng)一起很好地工作。·您可以在運(yùn)行SQL之前先查看它,看看它是否正常。 |
壞處 | ·比控制臺(tái)應(yīng)用程序(1b)更多的工作 ·您需要一些應(yīng)用程序?qū)⒛_本應(yīng)用于正確的數(shù)據(jù)庫(kù)。 |
局限性 | –無(wú)–,但請(qǐng)注意持續(xù)進(jìn)行的五階段應(yīng)用程序更新 |
提示 | SQL包含用于更新遷移歷史記錄的代碼,但是您必須在Script-Migration命令中包括idempotent選項(xiàng),以獲取阻止兩次應(yīng)用遷移的檢查。 |
我的建議 | 如果您想使用EF Core的Migrate方法,那么我建議您使用控制臺(tái)應(yīng)用程序1b。它與使用腳本一樣安全,并且執(zhí)行相同的工作。但是,如果您的管道已經(jīng)可以使用SQL更改腳本,那么這非常適合您。 |
2a。使用遷移工具應(yīng)用SQL腳本
如果創(chuàng)建了一系列SQL遷移腳本,則需要以下步驟:a)以正確的順序應(yīng)用它們,b)僅應(yīng)用一次。EF Core的遷移包含執(zhí)行“正確順序”和“僅一次”規(guī)則的代碼,但是當(dāng)我們編寫自己的遷移腳本時(shí),我們需要一個(gè)可以提供這些功能的工具。
我和其他許多人使用了一個(gè)名為DbUp的開(kāi)源庫(kù),該庫(kù)提供了這些功能(以及更多功能),還支持多種數(shù)據(jù)庫(kù)類型。我按字母順序排列遷移腳本,例如“ Script0001 –初始遷移”,“ Script0002 –添加種子數(shù)據(jù)”以供DbUp應(yīng)用。就像EF Core遷移一樣,DbUp使用一個(gè)表來(lái)列出哪些遷移已應(yīng)用到數(shù)據(jù)庫(kù),并且僅在該表中沒(méi)有遷移時(shí)才應(yīng)用。
還可以使用其他遷移工具,例如Octopus Deploy和各種RedGate工具(但我沒(méi)有使用過(guò)它們,因此請(qǐng)檢查它們是否具有正確的功能)。
好處 | ·它適用于所有情況。與部署系統(tǒng)配合良好。 |
壞處 | ·您必須管理腳本。 |
局限性 | –無(wú)–,但請(qǐng)注意持續(xù)進(jìn)行五階段應(yīng)用程序更新 |
*
提示 * (適用于DbUp) |
·我制作了一個(gè)控制臺(tái)應(yīng)用程序,該應(yīng)用程序接受連接字符串,然后運(yùn)行DbUp,因此可以在部署管道中使用它。·為了進(jìn)行測(cè)試,我使運(yùn)行DbUp的方法在“僅以調(diào)試模式運(yùn)行”單元測(cè)試中可用于我的單元測(cè)試程序集,該方法使用我的CompareEfSql工具正確遷移了本地?cái)?shù)據(jù)庫(kù)(請(qǐng)參閱本系列第1部分中有關(guān)測(cè)試遷移的部分。 |
我的建議 | 使用EF Core的項(xiàng)目上使用這種方法。 |
應(yīng)用程序和應(yīng)用程序遷移
將遷移應(yīng)用于數(shù)據(jù)庫(kù)時(shí),可以停止應(yīng)用程序,或者在某些情況下可以在遷移運(yùn)行時(shí)應(yīng)用遷移。在本節(jié)中,我將介紹為您提供的不同選項(xiàng)。
1.在遷移數(shù)據(jù)庫(kù)時(shí)停止應(yīng)用程序
這是最安全的選項(xiàng),可與重大更改和不中斷更改一起使用,但是您的用戶和您的業(yè)務(wù)可能并不那么滿意。我稱其為“維護(hù)站點(diǎn)”。在“站點(diǎn)關(guān)閉”方法中,您不想在用戶輸入數(shù)據(jù)或完成訂單時(shí)停止應(yīng)用程序。這就是您或您的公司獲得不良聲譽(yù)的方式。
我早在2015年就遇到了這個(gè)問(wèn)題,并且我創(chuàng)建了一種方法來(lái)警告人們?cè)摼W(wǎng)站將要關(guān)閉,然后停止除管理員以外的所有人員訪問(wèn)該應(yīng)用程序。我之所以選擇這種方法,是因?yàn)閷?duì)于正在使用的Web應(yīng)用程序,此方法比支持破壞性更改同時(shí)保持Web應(yīng)用程序運(yùn)行的開(kāi)銷要小(我將在稍后介紹對(duì)連續(xù)服務(wù)應(yīng)用程序進(jìn)行中斷)。通常在周末和晚上,您可能會(huì)遇到所使用服務(wù)的“此站點(diǎn)已關(guān)閉維護(hù)”。
注意:我寫了一篇名為“ 如何使ASP.NET MVC網(wǎng)站“為了維護(hù)而停機(jī) ””的文章,您可能希望看一下-該代碼是針對(duì)ASP.NET MVC5的,因此需要一些工作才能使其正常工作。.NET Core,但該想法仍然有效。
在應(yīng)用程序運(yùn)行時(shí)應(yīng)用不間斷的遷移
從理論上講,通過(guò)不間斷的更改,您可以在舊應(yīng)用程序運(yùn)行時(shí)將其應(yīng)用于數(shù)據(jù)庫(kù),但是有些問(wèn)題可能會(huì)讓您失望。例如,如果您添加了一個(gè)沒(méi)有SQL默認(rèn)值且不知道該新列的舊軟件的新的非空列,并嘗試插入新行,則您會(huì)收到一條SQL錯(cuò)誤,因?yàn)榕f軟件沒(méi)有提供了非空列的值。
但是,如果您知道不間斷的遷移沒(méi)有問(wèn)題,那么在舊應(yīng)用程序運(yùn)行時(shí)應(yīng)用遷移將為您的用戶提供連續(xù)的服務(wù)。有多種方法可以執(zhí)行此操作,具體取決于您選擇了哪種遷移應(yīng)用程序方法,想到的就是Azure的暫存槽(已經(jīng)存在了很長(zhǎng)時(shí)間)和更新的Azure Pipelines。
將重大更改應(yīng)用于連續(xù)運(yùn)行的應(yīng)用程序:五階段的應(yīng)用程序更新。
最困難的工作是對(duì)不斷運(yùn)行的應(yīng)用程序進(jìn)行重大更改。在顯示不同方法的圖表中,右上方會(huì)顯示一個(gè)名為“五階段應(yīng)用程序更新”的紅色框。該名稱來(lái)自以下事實(shí):您需要分階段遷移,通常為五個(gè)階段,如下圖所示。
注意:安德魯·洛克(Andrew Lock)稱贊我在上一節(jié)中描述的“添加不可為空的列”問(wèn)題可以分三個(gè)階段處理:a)添加新列但可為空,b)部署已知該列的新軟件,以及c)將列更改為不可為空。
這是我的《EFCore》一書的第11.5.3節(jié)中的圖表,該圖顯示了添加重大更改所需的五個(gè)階段,這些更改將現(xiàn)有的CustomerAndAddress表分為兩個(gè)表,Customers和Addresses。
如您所見(jiàn),這樣的更新創(chuàng)建起來(lái)很復(fù)雜,應(yīng)用起來(lái)也很復(fù)雜,但這就是運(yùn)行連續(xù)系統(tǒng)的成本。這五個(gè)階段沒(méi)有任何真正的替代方案,除了您永遠(yuǎn)不要對(duì)連續(xù)運(yùn)行的系統(tǒng)應(yīng)用重大更改(我聽(tīng)說(shuō)有人說(shuō)這是他們的方法)。
注意:我在我的書“ Entity Framework Core in Action[4] ”的11.5.3節(jié)中介紹了持續(xù)的,五個(gè)階段的應(yīng)用程序更新,您還可以在Neil Ford的“ Building Evolutionary Architectures ” 一書的第5章中找到有關(guān)此內(nèi)容的內(nèi)容。等。
結(jié)論
如果數(shù)據(jù)庫(kù)中的數(shù)據(jù)和服務(wù)的可用性對(duì)組織很重要,那么您必須認(rèn)真對(duì)待數(shù)據(jù)庫(kù)遷移。在第1部分中,我介紹了創(chuàng)建遷移腳本的不同方法,并且本文介紹了如何將這些遷移應(yīng)用于生產(chǎn)數(shù)據(jù)庫(kù)。本系列文章的目的是為您提供各種選擇,以及它們的優(yōu)缺點(diǎn),以便您可以就如何處理遷移做出明智的決定。
就像我在第一篇文章中所說(shuō)的那樣,我與EF遷移的第一個(gè)磨合是使用EF6。我非常了解EF6,并且寫過(guò)《 Entity Framework Core in Action》一書,[5]我對(duì)EF Core的了解甚至更好。圍繞遷移從EF6到EF Core的變化代表了EF Core中整個(gè)方法的變化。
EF6進(jìn)行了很多“魔法”操作,使其更易于使用- 啟動(dòng)時(shí)自動(dòng)遷移就是其中之一。問(wèn)題是,當(dāng)EF6的“魔法”效果不佳時(shí),很難對(duì)其進(jìn)行梳理。EF Core的遷移方法是由您決定如何在何處以及如何使用它-沒(méi)有自動(dòng)的“魔法”。EF Core遷移的許多其他小變化來(lái)自于聆聽(tīng)EF4到6的用戶。
因此,在生產(chǎn)數(shù)據(jù)庫(kù)上的遷移令人恐懼。我已經(jīng)為您提供了一些有關(guān)選項(xiàng)的見(jiàn)解,但這僅是更改生產(chǎn)數(shù)據(jù)庫(kù)的最低要求。需要根據(jù)需要添加備份,策略,產(chǎn)品前測(cè)試和部署管道,以構(gòu)建可靠的系統(tǒng)。
祝你能享受編碼的快樂(lè)!
References
[1] 在ASP.NET Core中的應(yīng)用啟動(dòng)時(shí)運(yùn)行異步任務(wù): https://andrewlock.net/running-async-tasks-on-app-startup-in-asp-net-core-part-1/
[2] 選項(xiàng): https://andrewlock.net/running-async-tasks-on-app-startup-in-asp-net-core-part-1/#4-manually-running-tasks-in-program-cs
[3] 本示例: https://github.com/JonPSmith/EfCore.GenericServices/blob/master/RazorPageApp/Program.cs
[4] Entity Framework Core in Action: http://bit.ly/2m8KRAZ
[5] ,: http://bit.ly/2m8KRAZ
原文鏈接:https://www.thereformedprogrammer.net/handling-entity-framework-core-database-migrations-in-production-part-2/
作者:Jon P Smith