自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

Memory Compaction原理、實(shí)現(xiàn)與分析

作者：趙金生
系統(tǒng) Linux
隨著系統(tǒng)的運(yùn)行，經(jīng)過不同用戶的分配請求后，頁框會(huì)變得十分分散，導(dǎo)致此段頁框被這些正在使用的零散頁框分為一小段一小段非連續(xù)頁框，這使得在需要分配內(nèi)存時(shí)很難找到物理上連續(xù)的頁框。

 [[410691]]

一memory compaction簡介

隨著系統(tǒng)的運(yùn)行，經(jīng)過不同用戶的分配請求后，頁框會(huì)變得十分分散，導(dǎo)致此段頁框被這些正在使用的零散頁框分為一小段一小段非連續(xù)頁框，這使得在需要分配內(nèi)存時(shí)很難找到物理上連續(xù)的頁框。

現(xiàn)代處理器不再限于使用傳統(tǒng)的4K大小的頁框;它們可以在進(jìn)程的部分地址空間中支持大得多的頁(huge pages)。使用巨頁會(huì)帶來真正的性能優(yōu)勢，主要原因是減小了對處理器的轉(zhuǎn)換后備緩沖區(qū)(translation lookaside buffer)的壓力。但是使用巨頁要求系統(tǒng)能夠找到物理上連續(xù)的內(nèi)存區(qū)域，這些區(qū)域不僅要足夠大，而且還必須確保按適當(dāng)方式滿足字節(jié)對齊的要求。

在一個(gè)已經(jīng)運(yùn)行了一段時(shí)間的系統(tǒng)上會(huì)產(chǎn)生大量的不連續(xù)的page， 要想找到符合這些高階(high-order)條件的內(nèi)存空間非常具有挑戰(zhàn)性，memory compaction的作用就是解決high-order內(nèi)存分配失敗問題，與buddy system機(jī)制做一個(gè)互補(bǔ)。

二memory compaction原理

內(nèi)存碎片整理以pageblock為單位。

在內(nèi)存碎片整理開始前，會(huì)在zone的頭和尾各設(shè)置一個(gè)指針，頭指針從頭向尾掃描可移動(dòng)的頁，而尾指針從尾向頭掃描空閑的頁，當(dāng)他們相遇時(shí)終止整理。

簡單示意圖：需要明確的是：實(shí)際情況并不是與圖示的情況完全一致。頭指針每次掃描一個(gè)符合要求的pageblock里的所有頁框，當(dāng)pageblock不為MIGRATE_MOVABLE、MIGRATE_CMA、MIGRATE_RECLAIMABLE時(shí)會(huì)跳過這些pageblock，當(dāng)掃描完這個(gè)pageblock后有可移動(dòng)的頁框時(shí)，會(huì)變?yōu)槲仓羔樢詐ageblock為單位向前掃描可移動(dòng)頁框數(shù)量的空閑頁框，但是在pageblock中也是從開始頁框向結(jié)束頁框進(jìn)行掃描，最后會(huì)將前面的頁框內(nèi)容復(fù)制到這些空閑頁框中。

這里的移動(dòng)是將頁框中的數(shù)據(jù)copy拷貝到可移動(dòng)的空閑頁框當(dāng)中，此時(shí)原有的movable page變成free page。所以并不是頁框自身的移動(dòng)而是數(shù)據(jù)的移動(dòng)。

通過下圖的操作就可以分配出一個(gè)order = 2或者是order = 3的連續(xù)的可用空間，可用于滿足更high-order的內(nèi)存分配。當(dāng)然，這里展示的流程和真實(shí)系統(tǒng)比起來已經(jīng)大大簡化了。實(shí)際的內(nèi)存域會(huì)大得多，這意味著掃描的工作量也會(huì)大很多，但由此獲得的空閑區(qū)也可能更大。

實(shí)際的內(nèi)存碎片，還有一個(gè)問題就是在整理算法中會(huì)將掃描中識(shí)別為不滿足整理要求的內(nèi)存塊標(biāo)識(shí)為 “可忽略”(“skip”，即不執(zhí)行規(guī)整)。作為一種優(yōu)化，目的是防止運(yùn)行沒必要的規(guī)整操作。

比如系統(tǒng)正在對zone進(jìn)行內(nèi)存碎片整理，首先，會(huì)從可移動(dòng)頁框開始位置向后掃描一個(gè)pageblock，得到一些可移動(dòng)頁框，然后空閑頁框從開始位置向前掃描一個(gè)pageblock，得到一些空閑頁框，然后將可移動(dòng)頁框移動(dòng)到空閑頁框中，之后再繼續(xù)循環(huán)掃描。對一個(gè)pageblock進(jìn)行掃描后，如果無法從此pageblock隔離出一個(gè)要求的頁框，這時(shí)候就會(huì)將此pageblock標(biāo)記為跳過(skip)。

假設(shè)內(nèi)存碎片整理可移動(dòng)頁掃描是從zone的第一個(gè)頁框開始，掃描完一個(gè)pageblock后，沒有隔離出可移動(dòng)頁框，則標(biāo)記此pageblock的跳過標(biāo)記PB_migrate_skip，然后將zone->compact_cached_migrate_pfn設(shè)置為此pageblock的結(jié)束頁框。

這樣，在下次對此zone進(jìn)行內(nèi)存碎片整理時(shí)，就會(huì)直接從此pageblock的下一個(gè)pageblock開始，把此pageblock跳過了。同理，對于空閑頁掃描也是一樣。這樣就必須更新zone pageblock的起始地址與結(jié)束地址：

以上就是內(nèi)存碎片整理的基本原理了。

三memory compaction如何實(shí)現(xiàn)

3.1、數(shù)據(jù)結(jié)構(gòu)

在內(nèi)存碎片整理中，可以移動(dòng)的頁框有MIGRATE_RECLAIMABLE、MIGRATE_MOVABLE與MIGRATE_CMA這三種類型的頁框。

而因?yàn)閮?nèi)存碎片整理分為同步和異步。在異步過程中，只會(huì)移動(dòng)MIGRATE_MOVABLE和MIGRATE_CMA這兩種類型的頁框。因?yàn)檫@兩種類型的頁框處理，是不會(huì)涉及到IO操作的。而在同步過程中，這三種類型的頁框都會(huì)進(jìn)行移動(dòng)，因?yàn)镸IGRATE_RECLAIMABLE基本上都是文件頁，在移動(dòng)過程中，有可能要將臟頁回寫，會(huì)涉及到IO操作，也就是在同步過程中，是會(huì)涉及到IO操作的。

1、migrate_mode遷移模式：

  1. enum migrate_mode { 
  2.     MIGRATE_ASYNC, 
  3.     MIGRATE_SYNC_LIGHT, 
  4.     MIGRATE_SYNC, 
  5. }; 

2、compact_priority

  1. enum compact_priority { 
  2.     COMPACT_PRIO_SYNC_FULL, 
  3.     MIN_COMPACT_PRIORITY = COMPACT_PRIO_SYNC_FULL, 
  4.     COMPACT_PRIO_SYNC_LIGHT, 
  5.     MIN_COMPACT_COSTLY_PRIORITY = COMPACT_PRIO_SYNC_LIGHT, 
  6.     DEF_COMPACT_PRIORITY = COMPACT_PRIO_SYNC_LIGHT, 
  7.     COMPACT_PRIO_ASYNC, 
  8.     INIT_COMPACT_PRIORITY = COMPACT_PRIO_ASYNC 
  9. }; 

3、compact_result用于壓縮處理函數(shù)的返回值

  1. enum compact_result { 
  2.     /* For more detailed tracepoint output - internal to compaction */ 
  3.     COMPACT_NOT_SUITABLE_ZONE,//trace用于調(diào)試輸出或內(nèi)部使用 
  4.     /* 
  5.      * compaction didn't start as it was not possible or direct reclaim 
  6.      * was more suitable 
  7.      */ 
  8.     COMPACT_SKIPPED,//跳過壓縮，因?yàn)闊o法執(zhí)行壓縮或直接回收更合適 
  9.     /* compaction didn't start as it was deferred due to past failures */ 
  10.     COMPACT_DEFERRED, 
  11.  
  12.     /* compaction not active last round */ 
  13.     COMPACT_INACTIVE = COMPACT_DEFERRED, 
  14.  
  15.     /* For more detailed tracepoint output - internal to compaction */ 
  16.     COMPACT_NO_SUITABLE_PAGE, 
  17.     /* compaction should continue to another pageblock */ 
  18.     COMPACT_CONTINUE, 
  19.  
  20.     /* 
  21.      * The full zone was compacted scanned but wasn't successfull to compact 
  22.      * suitable pages. 
  23.      */ 
  24.     COMPACT_COMPLETE,//已完成所有區(qū)域的壓縮，但是尚未確?？梢酝ㄟ^壓縮分配的頁面 
  25.     /* 
  26.      * direct compaction has scanned part of the zone but wasn't successfull 
  27.      * to compact suitable pages. 
  28.      */ 
  29.     COMPACT_PARTIAL_SKIPPED, 
  30.  
  31.     /* compaction terminated prematurely due to lock contentions */ 
  32.     COMPACT_CONTENDED, 
  33.  
  34.     /* 
  35.      * direct compaction terminated after concluding that the allocation 
  36.      * should now succeed 
  37.      */ 
  38.     COMPACT_SUCCESS,//在確?？煞峙漤撁姘踩?，直接壓縮結(jié)束 
  39. }; 

4、compact_control需要進(jìn)行內(nèi)存碎片整理時(shí)，總是需要初始化該結(jié)構(gòu)體

  1. struct compact_control { 
  2.     /* 掃描到的空閑頁的頁的鏈表 */ 
  3.     struct list_head freepages;    /* List of free pages to migrate to */ 
  4.     /* 掃描到的可移動(dòng)的頁的鏈表 */ 
  5.     struct list_head migratepages;    /* List of pages being migrated */ 
  6.     /* 空閑頁鏈表中的頁數(shù)量 */ 
  7.     unsigned long nr_freepages;    /* Number of isolated free pages */ 
  8.     /* 可移動(dòng)頁鏈表中的頁數(shù)量 */ 
  9.     unsigned long nr_migratepages;    /* Number of pages to migrate */ 
  10.     /* 空閑頁框掃描所在頁框號(hào) */ 
  11.     unsigned long free_pfn;        /* isolate_freepages search base */ 
  12.     /* 可移動(dòng)頁框掃描所在頁框號(hào) */ 
  13.     unsigned long migrate_pfn;    /* isolate_migratepages search base */ 
  14.     /* 內(nèi)存碎片整理使用的模式: 同步，輕同步，異步 */ 
  15.     enum migrate_mode mode;        /* Async or sync migration mode */ 
  16.     /* 是否忽略pageblock的PB_migrate_skip標(biāo)志對需要跳過的pageblock進(jìn)行掃描 ，并且也不會(huì)對pageblock設(shè)置跳過 
  17.      * 只有兩種情況會(huì)使用 
  18.      * 1.調(diào)用alloc_contig_range()嘗試分配一段指定了開始頁框號(hào)和結(jié)束頁框號(hào)的連續(xù)頁框時(shí)； 
  19.      * 2.通過寫入1到sysfs中的/vm/compact_memory文件手動(dòng)實(shí)現(xiàn)同步內(nèi)存碎片整理。 
  20.      */ 
  21.     bool ignore_skip_hint;        /* Scan blocks even if marked skip */ 
  22.     /* 本次內(nèi)存碎片整理是否隔離到了空閑頁框，會(huì)影響zone的空閑頁掃描起始位置 */ 
  23.     bool finished_update_free;    /* True when the zone cached pfns are 
  24.                      * no longer being updated 
  25.                      */ 
  26.     /* 本次內(nèi)存碎片整理是否隔離到了可移動(dòng)頁框，會(huì)影響zone的可移動(dòng)頁掃描起始位置 */ 
  27.     bool finished_update_migrate; 
  28.     /* 申請內(nèi)存時(shí)需要的頁框的order值 */ 
  29.     int order;            /* order a direct compactor needs */ 
  30.     const gfp_t gfp_mask;        /* gfp mask of a direct compactor */ 
  31.     /* 掃描的管理區(qū) */ 
  32.     struct zone *zone; 
  33.     /* 保存結(jié)果，比如異步模式下是否因?yàn)樾枰枞Y(jié)束了本次內(nèi)存碎片整理 */ 
  34.     int contended;            /* Signal need_sched() or lock 
  35.                      * contention detected during 
  36.                      * compaction 
  37.                      */ 
  38. }; 

5、Node zone 掃描推遲

  1. struct zone 
  2. { 
  3.     ..... 
  4.     unsigned int        compact_considered; 
  5.     unsigned int        compact_defer_shift; 
  6.     int                 compact_order_failed; 
  7.     ...... 
  8. } 

當(dāng)一個(gè)zone要進(jìn)行內(nèi)存碎片整理時(shí)，首先會(huì)判斷本次整理需不需要推遲，如果本次內(nèi)存碎片整理使用的order值小于zone內(nèi)存碎片整理失敗最大order值compact_order_failed時(shí)，不用進(jìn)行推遲，可以直接進(jìn)行內(nèi)存碎片整理;

當(dāng)order值大于zone內(nèi)存碎片整理失敗最大order值compact_order_failed，會(huì)增加內(nèi)存碎片整理推遲計(jì)數(shù)器compact_considered，如果內(nèi)存碎片整理推遲計(jì)數(shù)器compact_considered未達(dá)到內(nèi)存碎片整理推遲閥值defer_limit，則會(huì)跳過本次內(nèi)存碎片整理，如果達(dá)到了，那就需要進(jìn)行內(nèi)存碎片整理。

總結(jié)：也就是當(dāng)order小于zone內(nèi)存碎片整理失敗最大order值時(shí)，不用進(jìn)行推遲，而order大于zone內(nèi)存碎片整理失敗最大order值時(shí)，才考慮是否進(jìn)行推遲,此時(shí)推遲就是continue掃描node當(dāng)中的下一個(gè)zone區(qū)域，這里并不是想下文一下設(shè)置zone SKIP標(biāo)志。

6、Pageblock skip

  1. struct zone 
  2. { 
  3.     ...... 
  4.     unsigned long        compact_cached_free_pfn; 
  5.     /* pfn where async and sync compaction migration scanner should start */ 
  6.  unsigned long        compact_cached_migrate_pfn[2]; 
  7.  
  8.     ...... 
  9. } 

3.2、源碼分析

內(nèi)存碎片整理移動(dòng)發(fā)生條件：

  • 內(nèi)存分配不足時(shí)觸發(fā)direct compact整理內(nèi)存
  • Kswapd內(nèi)存回收后喚醒kcompactd內(nèi)核線程執(zhí)行compact操作，獲取連續(xù)內(nèi)存
  • 手動(dòng)設(shè)置echo 1 > /proc/sys/vm/compact_memory

分析的重點(diǎn)就放在內(nèi)存分配不足的情況，入口函數(shù)從try_to_compact_pages開始

對源碼詳細(xì)分析參見代碼：https://github.com/linuxzjs/linux-4.14

重點(diǎn)分析5個(gè)關(guān)鍵函數(shù)：

1、compaction_suitable

 

  1. /* 判斷該zone是否可以做內(nèi)存碎片壓縮整理 */ 
  2. enum compact_result compaction_suitable(struct zone *zone, int order, 
  3.                     unsigned int alloc_flags, 
  4.                     int classzone_idx) 
  5. { 
  6.     enum compact_result ret; 
  7.     int fragindex; 
  8.     /* 
  9.      * 根據(jù)watermask判斷zone中離散的page是否滿足2^order的內(nèi)存分配請求，如果滿足則繼續(xù)對zone進(jìn)行內(nèi)存的compact整理zone的內(nèi)存碎片 
  10.      * 說明該zone時(shí)可以做內(nèi)存碎片的壓縮整理的。 
  11.      */ 
  12.     ret = __compaction_suitable(zone, order, alloc_flags, classzone_idx,zone_page_state(zone, NR_FREE_PAGES)); 
  13.  
  14.     /* 如果return返回值為COMPACT_CONTINUE，且order        > PAGE_ALLOC_COSTLY_ORDER(3)則進(jìn)入一下判斷當(dāng)中 */ 
  15.     if (ret == COMPACT_CONTINUE && (order > PAGE_ALLOC_COSTLY_ORDER)) { 
  16.         /* 
  17.          * 為了確定zone區(qū)域是否執(zhí)行壓縮，找到所請求區(qū)域zone和順序的碎片系數(shù)。 
  18.          * 如果碎片系數(shù)值返回-1000，則存在要分配的頁面，因此不需要壓縮。 
  19.          * 在其他情況下，該值在0到500的范圍內(nèi)，并且如果它小于sysctl_extfrag_threshold，則直接return COMPACT_NOT_SUITABLE_ZONE不執(zhí)行壓縮 
  20.          */ 
  21.         fragindex = fragmentation_index(zone, order); 
  22.         if (fragindex >= 0 && fragindex <= sysctl_extfrag_threshold) 
  23.             ret = COMPACT_NOT_SUITABLE_ZONE; 
  24.     } 
  25. ..... 
  26.     return ret; 
  27. } 

由此可以知道，判斷是否執(zhí)行內(nèi)存的碎片整理，需要滿足以下三個(gè)條件：在__compaction_suitable當(dāng)中可以得出：

  • 減去申請的頁面，空閑頁面數(shù)將低于水印值;或者雖然大于等于水印值，但是沒有一個(gè)足夠大的連續(xù)的空閑頁塊;
  • 空閑頁面減去兩倍的申請頁面，高于水印值;在fragmentation_index中：
  • 申請的order大于PAGE_ALLOC_COSTLY_ORDER時(shí)，計(jì)算碎片指數(shù)fragindex來判斷;

2、compact_finished

通過該函數(shù)判斷zone區(qū)域碎片整理compact是否完成

  1. static enum compact_result __compact_finished(struct zone *zone,struct compact_control *cc) 
  2. { 
  3.     unsigned int order; 
  4.     /* 獲取zone的移動(dòng)類型 */ 
  5. const int migratetype = cc->migratetype; 
  6. ..... 
  7.     /* Compaction run completes if the migrate and free scanner meet */ 
  8.     /* 當(dāng)cc->free_pfn <= cc->migrate_pfn空閑掃描于可移動(dòng)頁面掃描相遇則說明zone碎片掃描壓縮完成 */ 
  9.     if (compact_scanners_met(cc)) { 
  10.         /* Let the next compaction start anew. */ 
  11.         /* 重置壓縮掃描起始地址于結(jié)束地址的位置 */ 
  12.         reset_cached_positions(zone); 
  13.         /* 如果是直接壓縮模式則設(shè)置compact_blockskip_flush = true，清除PG_migrate_skip的skip屬性 */ 
  14.         if (cc->direct_compaction) 
  15.             zone->compact_blockskip_flush = true; 
  16.         /* 
  17.          * 如果whole_zone = 1說明zone是從頭開始掃描，掃描zone整個(gè)區(qū)域 return COMPACT_COMPLETE，表示zone掃描完成 
  18.          * 如果whole_zone = 0說明zone是從局部開始掃描的，也就是在zone的更新的free_page或者是migrate_page當(dāng)中掃描 
  19.          * 也就是也就是局部的pageblock的掃描，return COMPACT_PARTIAL_SKIPPED表示跳過該pageblock，掃描下一個(gè)pageblock 
  20.          */ 
  21.         if (cc->whole_zone) 
  22.             return COMPACT_COMPLETE; 
  23.         else 
  24.             return COMPACT_PARTIAL_SKIPPED; 
  25.     } 
  26.     /* 執(zhí)行壓縮時(shí)，將返回COMPACT_CONTINUE以強(qiáng)制壓縮整個(gè)塊，這個(gè)于手動(dòng)模式有關(guān) 
  27.      * echo 1> /proc/sys/vm/compact_memory 
  28.      */ 
  29.     if (is_via_compact_memory(cc->order)) 
  30.         return COMPACT_CONTINUE; 
  31.     /* 如果掃描完成，則進(jìn)入判斷當(dāng)中，做進(jìn)一步判斷驗(yàn)證 */ 
  32. if (cc->finishing_block) { 
  33.         /* 再次檢查遷移掃描程序與pageblock是否對齊，如果對齊則說明頁面壓縮已經(jīng)完成重置cc->finishing_block = false 
  34.          * 如果沒有對齊則，并返回COMPACT_CONTINUE以繼續(xù)掃描進(jìn)行zone的頁面掃描壓縮操作 
  35.          */  
  36.         if (IS_ALIGNED(cc->migrate_pfn, pageblock_nr_pages)) 
  37.             cc->finishing_block = false; 
  38.         else 
  39.             return COMPACT_CONTINUE; 
  40.     } 
  41.  
  42.     /* Direct compactor: Is a suitable page free? */ 
  43.     /* 
  44.      * 從當(dāng)前order開始掃描，order -> MAX_ORDER進(jìn)行， 
  45.      */ 
  46.     for (order = cc->order; order < MAX_ORDER; order++) { 
  47.         /* 根據(jù)order獲取free_area    */ 
  48.         struct free_area *area = &zone->free_area[order]; 
  49.         bool can_steal; 
  50.  
  51.         /* Job done if page is free of the right migratetype */ 
  52.         /* 如果該area->free_list[migratetype])不為NULL，不為空則COMPACT_SUCCESS壓縮掃描成功 */ 
  53.         if (!list_empty(&area->free_list[migratetype])) 
  54.             return COMPACT_SUCCESS; 
  55.         /* 如果定義了CONFIG_CMA如果移動(dòng)類型為MIGRATE_MOVABLE可移動(dòng)類型，且area->free_list[MIGRATE_CMA])不為空則return                COMPACT_SUCCESS */ 
  56. #ifdef CONFIG_CMA 
  57.         /* MIGRATE_MOVABLE can fallback on MIGRATE_CMA */ 
  58.         if (migratetype == MIGRATE_MOVABLE && 
  59.             !list_empty(&area->free_list[MIGRATE_CMA])) 
  60.             return COMPACT_SUCCESS; 
  61. #endif 
  62.         /* 如果area->free_list[migratetype]以及area->free_list[MIGRATE_CMA])均為空則取對應(yīng)的migratetype的fallback當(dāng)中尋找合適可用的page 
  63.          * 判斷是否能夠完成頁面的壓縮。 
  64.          */ 
  65.         if (find_suitable_fallback(area, order, migratetype, 
  66.                         true, &can_steal) != -1) { 
  67.  
  68.             /* movable pages are OK in any pageblock */ 
  69.             /* 如果可移動(dòng)類型為MIGRATE_MOVABLE則直接return COMPACT_SUCESS 
  70.              * 說明只要是可以移動(dòng)的page都可用作頁面壓縮功能。 
  71.              */ 
  72.             if (migratetype == MIGRATE_MOVABLE) 
  73.                 return COMPACT_SUCCESS; 
  74.  
  75.              /* 如果正在執(zhí)行aync異步壓縮，或者如果遷移掃描程序已完成一頁代碼塊，則返回COMPACT_SUCCESS */ 
  76.             if (cc->mode == MIGRATE_ASYNC || 
  77.                     IS_ALIGNED(cc->migrate_pfn, 
  78.                             pageblock_nr_pages)) { 
  79.                 return COMPACT_SUCCESS; 
  80.             } 
  81.             /* 如果fallback當(dāng)中沒有找到合適可用的page則設(shè)置cc->finishing_block = true;return COMPACT_CONTINUE zone還需要繼續(xù)掃描， 
  82.              * skip到下一個(gè)pageblock或者是下一個(gè)zone 
  83.              */ 
  84.             cc->finishing_block = true; 
  85.             return COMPACT_CONTINUE; 
  86.         } 
  87.     } 
  88.     /* 如果從order ->   max_order都沒有找到可用的page用作直接的頁面遷移壓縮則return COMPACT_NO_SUITABLE_PAGE表明沒有可用的頁面用于壓縮                           */ 
  89.     return COMPACT_NO_SUITABLE_PAGE; 
  90. } 

3、isolate_migratepages

在zone當(dāng)中以pageblock為單位，掃描找到migratepage可移動(dòng)頁，并將page添加struct compact_control *cc的migratepages鏈表當(dāng)中，便于后邊做頁面內(nèi)容的拷貝移動(dòng)。其實(shí)隔離的作用就是將可移動(dòng)頁面拿出來，單獨(dú)存放，與之前的pageblock分開

4、isolate_freepages

freepages的過程與migratepages的過程基本上是完全一致的，隔離結(jié)束的條件基本上也是一致的。

不同點(diǎn)就是freepage在找到pageblock的page進(jìn)行isolate隔離操作前會(huì)判斷這個(gè)page是如何組成的，是一個(gè)復(fù)合page還是非復(fù)合頁，如果不是要獲取這個(gè)page的order，如果該page是由2^order個(gè)單獨(dú)的page組合起來的還要將這個(gè)page拆分成單獨(dú)的page也就是order = 0的這種情況，然后將單獨(dú)的page移動(dòng)到freepages鏈表上，并設(shè)置page新的類型為MIGRATE_MOVABLE供后續(xù)使用。

5、migrate_pages

當(dāng)完成freepages、migratepages完成隔離后就調(diào)migrate_pages完成兩個(gè)鏈表的頁面遷移。

  1. err = migrate_pages(&cc->migratepages, compaction_alloc, 
  2.  
  3.                 compaction_free, (unsigned long)cc, cc->mode, 
  4.  
  5.                 MR_COMPACTION); 

compact_alloc函數(shù)，從zone區(qū)域當(dāng)中掃描freepages并提填充到cc->freepages鏈表當(dāng)中，再從cc->freepages鏈表中取出一個(gè)空閑頁

  1. static struct page *compaction_alloc(struct page *migratepage, 
  2.                     unsigned long data, int **result) 
  3. { 
  4.     struct compact_control *cc = (struct compact_control *)data; 
  5.     struct page *freepage; 
  6.  
  7.     /* 
  8.      * Isolate free pages if necessary, and if we are not aborting due to 
  9.      * contention. 
  10.      */ 
  11.     /* 如果cc中的空閑頁框鏈表為空 */ 
  12.     if (list_empty(&cc->freepages)) { 
  13.         if (!cc->contended) 
  14.             isolate_freepages(cc);/* 從cc->free_pfn開始向前獲取空閑頁 */ 
  15.  
  16.         if (list_empty(&cc->freepages)) 
  17.             return NULL; 
  18.     } 
  19.      /* 從cc->freepages鏈表取出一個(gè)空閑的freepages */ 
  20.     freepage = list_entry(cc->freepages.next, struct page, lru); 
  21.     /* 將該page從lru鏈表當(dāng)中刪除 */ 
  22.     list_del(&freepage->lru); 
  23.     cc->nr_freepages--; 
  24.     /* 返回空閑頁框 */ 
  25.     return freepage; 
  26. } 
  27. static void compaction_free(struct page *page, unsigned long data) 
  28. { 
  29.     struct compact_control *cc = (struct compact_control *)data; 
  30.  
  31.     list_add(&page->lru, &cc->freepages); 
  32.     cc->nr_freepages++; 
  33. } 

這里先避開PageHuge不談，migrate_pages通過調(diào)用unmap_and_move、__unmap_and_move、move_to_new_page、try_to_unmap完成頁面最終的整理工作。這里面涉及的rmap反向映射這里不再展開。

四memory compaction總結(jié)

分析過reclaim內(nèi)存回收代碼就會(huì)發(fā)現(xiàn)，在內(nèi)存回收當(dāng)中同樣會(huì)wakeup_kcompactd觸發(fā)compaction碎片整理機(jī)制，在kswpad異步內(nèi)存回收當(dāng)中存在同樣的操作。同時(shí)與kswapd機(jī)制類似目前內(nèi)核在node節(jié)點(diǎn)當(dāng)中也引入了kcompactd線程機(jī)制，定時(shí)的休眠喚醒該內(nèi)核線程完成內(nèi)存碎片的整理，在新的patch當(dāng)中更是將kswapd與kcompactd結(jié)合起來共同完成內(nèi)存碎片的整理。內(nèi)存回收工作。(END)

趙金生，linux內(nèi)核愛好者,就職于杭州某大型安防公司，擔(dān)任Linux BSP軟件工程師。對進(jìn)程調(diào)度，內(nèi)存管理有所了解。希望能通過對linux的學(xué)習(xí)，提升產(chǎn)品軟件性能及穩(wěn)定性。該文章為私人學(xué)習(xí)總結(jié)，不存在公司網(wǎng)絡(luò)安全問題。       

本文轉(zhuǎn)載自微信公眾號(hào)「Linux閱碼場」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系Linux閱碼場公眾號(hào)。

 

責(zé)任編輯：武曉燕 來源： Linux閱碼場
Memory Compaction系統(tǒng)內(nèi)存
相關(guān)推薦

2023-07-27 06:38:52

HBase大數(shù)據(jù)

2023-02-07 09:17:19

Java注解原理

2023-10-13 00:09:20

桶排序排序算法

2023-10-08 00:02:07

Java排序算法

2017-04-12 10:02:21

Java阻塞隊(duì)列原理分析

2009-03-26 13:43:59

實(shí)現(xiàn)Order ByMySQL

2024-11-11 14:55:48

2014-08-13 18:47:46

2023-10-09 00:12:55

歸并排序數(shù)據(jù)

2021-03-01 08:03:26

Node.jsStream模塊

2009-04-02 10:23:13

實(shí)現(xiàn)JoinMySQL

2017-05-16 15:33:42

Python網(wǎng)絡(luò)爬蟲核心技術(shù)框架

2012-08-08 10:04:41

IBM但W

2017-07-26 14:50:37

前端模板

2016-09-29 09:57:08

JavascriptWeb前端模板

2015-09-25 09:56:37

負(fù)載均衡

2016-12-26 18:05:00

單點(diǎn)登錄原理簡單實(shí)現(xiàn)

2024-08-19 02:35:00

模型量化深度學(xué)習(xí)

2021-08-12 07:01:23

FlutterRouter Android

2023-10-10 08:39:25

Java 7Java 8
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)