
??想了解更多關于開源的內(nèi)容,請訪問:??
??51CTO 開源基礎軟件社區(qū)??
??https://ost.51cto.com??
前言
上一篇文章中介紹了loongarch中TLB相關的異常處理,這一篇文章繼續(xù)介紹TLB相關的維護操作。
1、TLB硬件組織機構(gòu)
首先補充loongarch中TLB相關的硬件背景知識。
loongarch架構(gòu)中,TLB分為兩個部分:一個是所有表項的頁大小都相同的Singular-Page-Size TLB,簡稱STLB;一個是支持不同表項的頁大小可以不同的Multiple-Page-Size TLB,簡稱MTLB。在進行虛實地址轉(zhuǎn)換時,STLB和MTLB同時查找。同時軟件上需保證不會出現(xiàn)MTLB和STLB同時命中的情況。
STLB和MTLB的表項格式基本一致,區(qū)別僅在于MTLB每個表項中均包含了一個頁大小的信息,而STLB每個表項中無此信息。
回顧上一篇文章中介紹了的TLB表項格式:
![#loongarch架構(gòu)介紹# [五] TLB維護-開源基礎軟件社區(qū) #loongarch架構(gòu)介紹# [五] TLB維護-開源基礎軟件社區(qū)](https://dl-harmonyos.51cto.com/images/202302/885ec333955479bcca25159e4a57fe8c8badb4.png?x-oss-process=image/resize,w_718,h_126)
其中PS(page size)域僅存在于MTLB。
2、虛擬內(nèi)存系統(tǒng)與硬件維護
虛擬地址空間的引入為程序提供了方便,但同時也帶來了其他問題。
其中,有一種稱為homonym的問題,其指的是單個虛擬地址指向多個物理地址的情況。例如,在多個進程中使用了相同的虛擬地址,但這些虛擬地址實際上指向了不同的物理地址。當進程切換、虛擬地址空間切換、頁表修改等情況時,硬件上的緩存數(shù)據(jù)不一定會自動進行同步,此時就會有數(shù)據(jù)不一致的問題。
因此,操作系統(tǒng)在軟件上需要手動去維護相關的硬件數(shù)據(jù)一致性:
- TLB維護:TLB中緩存的頁表項就有可能因為軟件上對頁表的修改,出現(xiàn)數(shù)據(jù)不一致的問題。操作系統(tǒng)需要進行invalidate(或者稱為flush)TLB的操作,將相應的表項無效。
- cache維護:某些類型的cache也可能會因頁表的修改,出現(xiàn)數(shù)據(jù)不一致的問題。對于這些cache,操作系統(tǒng)同樣需要進行clean或invalidate操作。
(1)TLB維護與ASID
在一些早期的架構(gòu)中,invalidate TLB操作實際上是將整個TLB中的數(shù)據(jù)無效,因為TLB因homonym問題無法判斷其緩存的表項屬于哪個進程。
但實際上,刷新整個TLB的數(shù)據(jù)是一件相當浪費性能的事,既會影響上下文切換時的速度,也會降低TLB加速的作用。因此,后來的架構(gòu)一般都會在TLB中加入其他標識以識別不同的進程或者虛擬地址空間,這樣TLB不需要每次切換上下文都進行invalidate操作。
ASID(Address Space ID)就是這樣的標識。loongarch中支持ASID,見上文中TLB表項圖,其中就有ASID域。每個TLB表項都有ASID,ASID由操作系統(tǒng)在軟件上進行分配,一般一個虛擬地址空間有一個唯一的ASID,這樣就有效減少了TLB invalidate操作的次數(shù)。
loongarch中,CSR.ASID寄存器可以控制當前TLB使用的ASID,如下圖:
![#loongarch架構(gòu)介紹# [五] TLB維護-開源基礎軟件社區(qū) #loongarch架構(gòu)介紹# [五] TLB維護-開源基礎軟件社區(qū)](https://dl-harmonyos.51cto.com/images/202302/45167b4674f65f689d793545139975f6f277ae.png?x-oss-process=image/resize,w_788,h_282)
同時loongarch中TLB相關維護指令也支持根據(jù)ASID,只無效部分ASID匹配的表項。見后文介紹。
(2)cache維護
相較于cache維護,TLB相關的維護是本文著重介紹的內(nèi)容。主要是因為目前l(fā)oongarch中cache相關的資料較少。
一般來說,在上下文切換、頁表修改等情況時,是否需要在軟件上對cache進行維護,與具體的架構(gòu)和cache類型有關。以ARM架構(gòu)為例,其中VIVT類型的cache在涉及頁表切換等操作時需要進行維護。
3、TLB相關維護指令
- tlbclr:tlbclr指令根據(jù)TLB相關CSR中的信息無效TLB中的內(nèi)容。
- 當CSR.TLBIDX.Index落在MTLB范圍內(nèi)時,執(zhí)行tlbclr,將MTLB中所有G=0且ASID等于CSR.ASID.ASID的表項無效。其中G、ASID為表項中的域。
- 當CSR.TLBIDX.Index落在STLB范圍內(nèi)時,執(zhí)行tlbclr,將STLB中CSR.TLBIDX.Index對應的且G=0且ASID等于CSR.ASID.ASID的表項無效。
- tlbflush:tlbflush指令同樣根據(jù)TLB相關CSR中的信息無效TLB中的內(nèi)容,但作用范圍較tlbclr指令更廣。
- 當CSR.TLBIDX.Index落在MTLB范圍內(nèi)時,執(zhí)行tlbflush,將MTLB中所有的表項無效。
- 當CSR.TLBIDX.Index落在STLB范圍內(nèi)時,執(zhí)行tlbflush,將STLB中CSR.TLBIDX.Index對應的表項無效。
- invtlb op, rj, rk:invtlb指令同樣用于無效TLB中的內(nèi)容,但相較于tlbclr和tlbflush指令更加靈活。
- op表示操作類型,下面是loongarch手冊中列出的op類型:
- op=0:清除所有表項。
- op=1:清除所有表項。效果和op=0完全一致。
- op=2:清除所有G=1的表項。
- op=3:清除所有G=0的表項。
- op=4:清除所有G=0,且ASID等于寄存器指定ASID的表項。
- op=5:清除所有G=0,ASID等于寄存器指定ASID,且VA等于寄存器指定VA的表項。
- op=6:清除所有G=1或ASID等于寄存器指定ASID,且VA等于寄存器指定VA的表項。
- 通用寄存器rj中存放ASID信息。當op對應的操作不需要ASID時,rj應設置為r0。
- 通用寄存器rk中存放VA虛擬地址信息。當op對應的操作不需要VA時,rk應設置為r0。
下面用linux中l(wèi)oongarch下TLB flush相關API對invtlb指令舉例說明。
注:目前l(fā)oongarch手冊中的op操作類型似乎不全。
// invtlb指令中的op
enum invtlb_ops {
/* Invalid all tlb */
INVTLB_ALL = 0x0,
/* Invalid current tlb */
INVTLB_CURRENT_ALL = 0x1,
/* Invalid all global=1 lines in current tlb */
INVTLB_CURRENT_GTRUE = 0x2,
/* Invalid all global=0 lines in current tlb */
INVTLB_CURRENT_GFALSE = 0x3,
/* Invalid global=0 and matched asid lines in current tlb */
INVTLB_GFALSE_AND_ASID = 0x4,
/* Invalid addr with global=0 and matched asid in current tlb */
INVTLB_ADDR_GFALSE_AND_ASID = 0x5,
/* Invalid addr with global=1 or matched asid in current tlb */
INVTLB_ADDR_GTRUE_OR_ASID = 0x6,
/* Invalid matched gid in guest tlb */
INVGTLB_GID = 0x9,
/* Invalid global=1, matched gid in guest tlb */
INVGTLB_GID_GTRUE = 0xa,
/* Invalid global=0, matched gid in guest tlb */
INVGTLB_GID_GFALSE = 0xb,
/* Invalid global=0, matched gid and asid in guest tlb */
INVGTLB_GID_GFALSE_ASID = 0xc,
/* Invalid global=0 , matched gid, asid and addr in guest tlb */
INVGTLB_GID_GFALSE_ASID_ADDR = 0xd,
/* Invalid global=1 , matched gid, asid and addr in guest tlb */
INVGTLB_GID_GTRUE_ASID_ADDR = 0xe,
/* Invalid all gid gva-->gpa guest tlb */
INVGTLB_ALLGID_GVA_TO_GPA = 0x10,
/* Invalid all gid gpa-->hpa tlb */
INVTLB_ALLGID_GPA_TO_HPA = 0x11,
/* Invalid all gid tlb, including gva-->gpa and gpa-->hpa */
INVTLB_ALLGID = 0x12,
/* Invalid matched gid gva-->gpa guest tlb */
INVGTLB_GID_GVA_TO_GPA = 0x13,
/* Invalid matched gid gpa-->hpa tlb */
INVTLB_GID_GPA_TO_HPA = 0x14,
/* Invalid matched gid tlb,including gva-->gpa and gpa-->hpa */
INVTLB_GID_ALL = 0x15,
/* Invalid matched gid and addr gpa-->hpa tlb */
INVTLB_GID_ADDR = 0x16,
};
/*
* invtlb op info addr
* (0x1 << 26) | (0x24 << 20) | (0x13 << 15) |
* (addr << 10) | (info << 5) | op
*/
// 基于機器碼封裝了invtlb op info addr格式的指令
static inline void invtlb(u32 op, u32 info, u64 addr)
{
__asm__ __volatile__(
"parse_r addr,%0\n\t"
"parse_r info,%1\n\t"
".word ((0x6498000) | (addr << 10) | (info << 5) | %2)\n\t"
:
: "r"(addr), "r"(info), "i"(op)
:
);
}
// invtlb op 0 0指令
static inline void invtlb_all(u32 op, u32 info, u64 addr)
{
__asm__ __volatile__(
".word ((0x6498000) | (0 << 10) | (0 << 5) | %0)\n\t"
:
: "i"(op)
:
);
}
4、上下文切換和TLB維護
本節(jié)結(jié)合linux中上下文切換部分代碼對TLB invalidate操作進行分析。
以下為linux中context_switch上下文切換函數(shù)的流程:
context_switch(struct rq *rq, struct task_struct *prev,
| struct task_struct *next)
| // 更新時間片、最近進隊時間等調(diào)度信息以及其他準備工作
|-> prepare_task_switch(rq, prev, next);
|
| // 虛擬地址空間切換相關
|-> mm = next->mm;
| oldmm = prev->active_mm;
| if (!mm) {
| next->active_mm = oldmm;
| atomic_inc(&oldmm->mm_count); // 增加oldmm的引用計數(shù)
| // 其他架構(gòu)(x86)相關,這里不關注
| enter_lazy_tlb(oldmm, next);
| } else
| // 切換到用戶進程,需切換進程虛擬空間
| switch_mm(oldmm, mm, next);
|
|-> ...
|
| // 切換任務上下文
|-> switch_to(prev, next, prev);
| // 切換后再次被調(diào)度時向下執(zhí)行
|
| // 用barrier機制同步,
| // 保證switch_to和finish_task_switch的執(zhí)行順序
|-> barrier();
| // 使用gcc內(nèi)聯(lián)匯編:::"memory"語法實現(xiàn),
| // 這樣編譯器不會優(yōu)化此語句前后的訪存順序
|-> #define barrier() __asm__ __volatile__("": : :"memory")
|
| // 再次被調(diào)度時,進行清理工作
|-> finish_task_switch(this_rq(), prev);
在進行任務上下文切換函數(shù)switch_to之前,如果涉及進程虛擬地址空間改變,則需要切換mmu上下文。上面switch_mm函數(shù)的作用就是切換mmu上下文。
loongarch架構(gòu)代碼中switch_mm及相關函數(shù)的分析如下:
switch_mm(struct mm_struct *prev, struct mm_struct *next,
| struct task_struct *tsk)
|-> switch_mm_irqs_off(prev, next, tsk);
|-> unsigned int cpu = smp_processor_id();
|
| /* Check if our ASID is of an older version and thus invalid */
| // 如果asid不同,則需重新分配
|-> if (!asid_valid(next, cpu))
| get_new_mmu_context(next, cpu);
|
| // 寫入asid到寄存器CSR.ASID
|-> write_csr_asid(cpu_asid(cpu, next));
|
| // 切換頁表
|-> if (next != &init_mm)
| csr_writeq((unsigned long)next->pgd, LOONGARCH_CSR_PGDL);
| else
| csr_writeq((unsigned long)invalid_pg_dir, LOONGARCH_CSR_PGDL);
|
|-> ...
#define cpu_context(cpu, mm) ((mm)->context.asid[cpu])
#define asid_cache(cpu) (cpu_data[cpu].asid_cache)
static inline int asid_valid(struct mm_struct *mm, unsigned int cpu)
{
// 如果mm中的asid和當前asid_cache不同,則返回無效
if ((cpu_context(cpu, mm) ^ asid_cache(cpu)) & asid_version_mask(cpu))
return 0;
return 1;
}
static inline void
get_new_mmu_context(struct mm_struct *mm, unsigned long cpu)
{
| // 循環(huán)遞增地分配新的asid,為舊的asid_cache + 1
|-> u64 asid = asid_cache(cpu);
| if (!((++asid) & cpu_asid_mask(&cpu_data[cpu])))
| // 當asid溢出時開始新的分配循環(huán),此時需刷新TLB中所有用戶部分
| local_flush_tlb_user(); /* start new asid cycle */
|
| // 將mm中asid和當前asid_cache設為新分配的asid
|-> cpu_context(cpu, mm) = asid_cache(cpu) = asid;
}
其中,switch_mm函數(shù)主要完成兩個任務:
- 維護TLB:如前文所述,loongarch中上下文切換時需要維護TLB數(shù)據(jù)一致性。在上面的代碼中,是結(jié)合ASID進行實現(xiàn):
- 每次檢測ASID是否變化,如果變化則說明虛擬地址空間需要進行切換,CSR.ASID寄存器需要重新設置
- 上面代碼實現(xiàn)中是通過循環(huán)遞增的方式分配新的ASID,當ASID溢出時需要使用invalidate TLB操作來保證數(shù)據(jù)一致性
- 切換頁表:不同的用戶虛擬地址空間有不同的頁表,需通過設置相關寄存器進行切換。頁表相關的配置可參考前面的文章。
上面的asid_valid函數(shù)檢測ASID是否變化,get_new_mmu_context函數(shù)負責重新分配ASID和ASID溢出時調(diào)用local_flush_tlb_user函數(shù)進行invalidate TLB操作。
local_flush_tlb_user函數(shù)分析如下:
local_flush_tlb_user(void)
| // 刷新所有g(shù)lobal=0的TLB表項
|-> invtlb_all(INVTLB_CURRENT_GFALSE, 0, 0);
另外,上面代碼中ASID管理部分可以進一步改進,因為每次檢測到ASID變化后,mm結(jié)構(gòu)體被設置了一個新分配的ASID,這樣實際上未能利用mm結(jié)構(gòu)體中原來的ASID和TLB中對應緩存數(shù)據(jù)。
總結(jié)
本文介紹了TLB維護操作和相關指令,并結(jié)合linux中代碼進行了分析。這篇文章之后,本系列文章暫時告一段落。主要是目前l(fā)oongarch相關的資料有限,描述二進制翻譯擴展等擴展內(nèi)容的loongarch手冊第二、三卷也還沒有出。
最后,在查詢loongarch資料(主要是基于龍芯手冊第一卷1.02和linux中l(wèi)oongarch部分源碼)的過程中也發(fā)現(xiàn)了一些不足點或者是不夠詳細的地方,這里一并列出:
- 指令的介紹有信息遺漏:如第一篇文章中列出的一部分手冊上沒有,但在代碼中出現(xiàn)的move等指令;又如前文中的invtlb指令中的op操作類型相比代碼中缺少一些
- 內(nèi)存一致性模型,內(nèi)存訪存類型的信息不夠詳細:第二篇文章中提到了這點,如手冊中出現(xiàn)的一致可緩存等術(shù)語沒有解釋
- 中斷機制相關信息不夠詳細
- cache相關信息不夠詳細
??想了解更多關于開源的內(nèi)容,請訪問:??
??51CTO 開源基礎軟件社區(qū)??
??https://ost.51cto.com??