[[352570]]

為什么這么設(shè)計(Why’s THE Design)是一系列關(guān)于計算機領(lǐng)域中程序設(shè)計決策的文章，我們在這個系列的每一篇文章中都會提出一個具體的問題并從不同的角度討論這種設(shè)計的優(yōu)缺點、對具體實現(xiàn)造成的影響。

對 Linux 稍有了解的人都知道，Linux 會將物理的隨機讀取內(nèi)存(Random Access Memory、RAM)按頁分割成 4KB 大小的內(nèi)存塊，而今天要介紹的 Swapping 機制就與內(nèi)存息息相關(guān)，它是操作系統(tǒng)將物理內(nèi)存頁中的內(nèi)容拷貝到硬盤上交換空間(Swap Space)以釋放內(nèi)存的過程，物理內(nèi)存和硬盤上的交換分區(qū)組成了操作系統(tǒng)上可用的虛擬內(nèi)存，而這些交換空間都是系統(tǒng)管理員預(yù)先配置好的[^1]。

圖 1 - Linux Swapping

正是因為 Linux 上的所有進程都會通過虛擬內(nèi)存這一層抽象間接與物理內(nèi)存打交道，而 Swapping 也充分利用了該特性，它能夠讓應(yīng)用程序看到操作系統(tǒng)內(nèi)存充足的假象，然而并不知道它使用的部分虛擬內(nèi)存其實在磁盤上，因為內(nèi)存和磁盤的讀寫速度上的巨大差異，這部分虛擬內(nèi)存的讀寫非常緩慢，我們在 為什么 CPU 訪問硬盤很慢 曾經(jīng)介紹過：

在 SSD 中隨機訪問 4KB 數(shù)據(jù)所需要的時間是訪問主存的 1,500 倍，機械磁盤的尋道時間是訪問主存的 100,000 倍[^2]

如此巨大的性能差異使得觸發(fā) Swapping 的進程可能會遇到性能損失，同一個頁面的頻繁換入換出會導(dǎo)致極其明顯的性能抖動，如果沒有相應(yīng)的背景知識，遇到類似的問題可能會很難查到根本原因，例如 MySQL 在錯誤配置 NUMA 時就會出現(xiàn)內(nèi)存頁頻繁換入換出，影響服務(wù)質(zhì)量的問題。

Linux 提供了兩種不同的方法啟用 Swapping，分別是 Swap 分區(qū)(Swap Partition)和 Swap 文件(Swapfile)：

• Swap 分區(qū)是硬盤上的獨立區(qū)域，該區(qū)域只會用于交換分區(qū)，其他的文件不能存儲在該區(qū)域上，我們可以使用 swapon -s 命令查看當(dāng)前系統(tǒng)上的交換分區(qū);
• Swap 文件是文件系統(tǒng)中的特殊文件，它與文件系統(tǒng)中的其他文件也沒有太多的區(qū)別;

Swap 分區(qū)的大小是需要系統(tǒng)管理員手動設(shè)定的，然而不同的場景最好設(shè)置不同交換分區(qū)大小，例如：桌面系統(tǒng)的交換分區(qū)大小可以是系統(tǒng)內(nèi)存的兩倍，這可以讓我們同時運行更多的應(yīng)用程序;服務(wù)器的交換分區(qū)應(yīng)該關(guān)閉或者使用少量的交換分區(qū)，不過一旦啟用交換分區(qū)，就應(yīng)該引入監(jiān)控監(jiān)控應(yīng)用程序的性能。

我們到現(xiàn)在已經(jīng)對 Linux 上的 Swapping 有了一定的了解，接下來回到這篇文章想要討論的問題 — 『為什么 Linux 需要 Swapping』，我們將從以下兩個方面介紹 Swapping 解決的問題、觸發(fā)入口和執(zhí)行路徑：

Swapping 可以直接將進程中使用相對較少的頁面換出內(nèi)存，立刻給正在執(zhí)行的進程分配內(nèi)存;

Swapping 可以將進程中的閑置頁面換出內(nèi)存，為其他進程未來使用內(nèi)存做好準備;

內(nèi)存不足

當(dāng)系統(tǒng)需要的內(nèi)存超過了可用的物理內(nèi)存時，內(nèi)核會將內(nèi)存中不常使用的內(nèi)存頁交換到磁盤上為當(dāng)前進程讓出內(nèi)存，保證正在執(zhí)行的進程的可用性，這個內(nèi)存回收的過程是強制的直接內(nèi)存回收(Direct Page Reclaim)。

圖 2 - 直接內(nèi)存回收

直接內(nèi)存回收是在 Linux 調(diào)用 __alloc_pages_nodemask 申請新內(nèi)存頁時觸發(fā)的，該函數(shù)會先在空閑頁列表中查找是否有可用的頁面，如果不存在可用頁面，就會進入 __alloc_pages_slowpath 函數(shù)分配內(nèi)存頁，與從空閑列表中直接查找內(nèi)存也相比，該函數(shù)會通過以下步驟分配內(nèi)存：

static inline struct page * __alloc_pages_slowpath(gfp_t gfp_mask, unsigned int order, struct alloc_context *ac) { 
    ... 
    if (alloc_flags & ALLOC_KSWAPD) 
        wake_all_kswapds(order, gfp_mask, ac); 
 
    page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac); 
    if (page) goto got_pg; 
 
    if (can_direct_reclaim && (costly_order || (order > 0 && ac->migratetype != MIGRATE_MOVABLE)) && !gfp_pfmemalloc_allowed(gfp_mask)) { 
        page = __alloc_pages_direct_compact(gfp_mask, order, alloc_flags, ac, INIT_COMPACT_PRIORITY, &compact_result); 
        if (page) goto got_pg; 
        ... 
    } 
 
 retry: 
    page = __alloc_pages_direct_reclaim(gfp_mask, order, alloc_flags, ac, &did_some_progress); 
    page = __alloc_pages_direct_compact(gfp_mask, order, alloc_flags, ac, compact_priority, &compact_result); 
    page = __alloc_pages_may_oom(gfp_mask, order, ac, &did_some_progress); 
 got_pg: 
    return page; 
} 

1. 喚醒 kswapd 線程在后臺回收內(nèi)存并嘗試調(diào)用 get_page_from_freelist 從空閑列表中快速獲取內(nèi)存頁;
2. 昂貴的內(nèi)存申請會先調(diào)用 __alloc_pages_direct_compact 嘗試壓縮內(nèi)存頁，并在壓縮后的內(nèi)存中調(diào)用 get_page_from_freelist 查找空閑的內(nèi)存頁;
3. 調(diào)用 __alloc_pages_direct_reclaim 直接回收并分配新的內(nèi)存頁;
4. 再次調(diào)用 __alloc_pages_direct_compact 嘗試壓縮內(nèi)存并獲取空閑內(nèi)存頁;
5. 調(diào)用 __alloc_pages_may_oom 分配內(nèi)存，如果內(nèi)存分配失敗會觸發(fā)內(nèi)存不足警告隨機殺死操作系統(tǒng)上的幾個進程;

雖然獲取內(nèi)存頁的步驟已經(jīng)經(jīng)過了大量的刪減，但是其中展示了 Linux 在內(nèi)存也不足時獲取內(nèi)存的幾個常見方法：內(nèi)存壓縮、直接回收以及觸發(fā)內(nèi)存不足錯誤殺掉部分進程。

內(nèi)存閑置

應(yīng)用程序在啟動階段使用的大量內(nèi)存在啟動后往往都不會使用，通過后臺運行的守護進程，我們可以將這部分只使用一次的內(nèi)存交換到磁盤上為其他內(nèi)存的申請預(yù)留空間。kswapd 是 Linux 負責(zé)頁面置換(Page replacement)的守護進程，它也是負責(zé)交換閑置內(nèi)存的主要進程，它會在空閑內(nèi)存低于一定水位時，回收內(nèi)存頁中的空閑內(nèi)存保證系統(tǒng)中的其他進程可以盡快獲得申請的內(nèi)存，如下圖所示：

圖 3 - Linux 空閑頁面水位

當(dāng)空閑頁面小于 WMARK_LOW 時，kswapd 進程才會開始工作，它會將內(nèi)存頁交換到磁盤上直到空閑頁面的水位回到 WMARK_HIGH，不過當(dāng)空閑頁面的水位低于 WMARK_MIN 時會觸發(fā)上一節(jié)提到的內(nèi)存直接回收，而水位高于 WMARK_HIGH 則意味著空閑內(nèi)存充足，不需要進行回收。

Linux 操作系統(tǒng)采用最近最少使用(Least Recently Used、LRU)算法置換內(nèi)存中的頁面，系統(tǒng)中的每個區(qū)都會在內(nèi)存中持有 active_list 和 inactive_list 兩種鏈表，其中前者包含活躍的內(nèi)存頁，后者中存儲的內(nèi)存頁都是回收的候選頁面，除此之外，Linux 還會在將 lru_list 根據(jù)內(nèi)存頁的特性分成如下幾種：

enum lru_list { 
 LRU_INACTIVE_ANON = LRU_BASE, 
 LRU_ACTIVE_ANON = LRU_BASE + LRU_ACTIVE, 
 LRU_INACTIVE_FILE = LRU_BASE + LRU_FILE, 
 LRU_ACTIVE_FILE = LRU_BASE + LRU_FILE + LRU_ACTIVE, 
 LRU_UNEVICTABLE, 
 NR_LRU_LISTS 
}; 

其中包含 ANON 的表示匿名內(nèi)存頁，這些內(nèi)存頁存儲了與文件無關(guān)的進程堆棧等內(nèi)容，而包含 FILE 的表示與文件相關(guān)的內(nèi)存，也就是程序文件或者數(shù)據(jù)對應(yīng)的內(nèi)存，而最后的 LRU_UNEVICTABLE 表示禁止回收的內(nèi)存頁。

圖 4 - 活躍鏈表和不活躍鏈表

每當(dāng)內(nèi)存頁被訪問時，Linux 都會將被訪問的內(nèi)存頁移到鏈表的頭部，所以在活躍鏈表末尾的是鏈表中『最老的』內(nèi)存頁，守護進程 kswapd 的作用是平衡兩個鏈表的長度，將活躍鏈表末尾的內(nèi)存頁移至不活躍鏈表的隊首等待回收，而函數(shù) shrink_zones 會負責(zé)回收 LRU 鏈表中的不活躍內(nèi)存頁。

總結(jié)

很多人認為當(dāng)系統(tǒng)內(nèi)存不足時應(yīng)該立即觸發(fā)內(nèi)存不足(Out of memory、OOM)并殺掉進程，但是 Swapping 其實為系統(tǒng)管理員提供了另外一種選擇，利用磁盤的交換空間避免程序被直接退出，以降低服務(wù)質(zhì)量的代價換取服務(wù)的部分可用性。Linux 中的 Swapping 機制主要是為內(nèi)存不足和內(nèi)存閑置兩種常見的情況存在的

• Swapping 可以直接將進程中使用相對較少的頁面換出內(nèi)存：當(dāng)系統(tǒng)需要的內(nèi)存超過了可用的物理內(nèi)存時，內(nèi)核會將內(nèi)存中不常使用的內(nèi)存頁交換到磁盤上為當(dāng)前進程讓出內(nèi)存，保證正在執(zhí)行的進程的可用性;
• Swapping 可以將進程中的閑置頁面換出內(nèi)存：應(yīng)用程序在啟動階段使用的大量內(nèi)存在啟動后往往都不會使用，通過后臺運行的守護進程，我們可以將這部分只使用一次的內(nèi)存交換到磁盤上為其他內(nèi)存申請預(yù)留空間;

關(guān)于是否應(yīng)該開啟 Swapping 的討論其實非常多，我們在今天也不應(yīng)該一刀切地認為必須開啟或者禁用 Swapping，我們?nèi)匀恍枰治鰣鼍安⒗煤? Linux 為我們提供的這一機制，例如 Kubernetes 要求禁用 Swapping，我們就應(yīng)該遵循社區(qū)提出的建議，在部署 Kubernetes 的機器上關(guān)閉這一特性[^3]。到最后，我們還是來看一些比較開放的相關(guān)問題，有興趣的讀者可以仔細思考一下下面的問題：

• Linux 提供了哪些參數(shù)來控制 Swapping 的行為?
• 通過降低服務(wù)質(zhì)量的代價換取部分可用在哪些場景下是可取的?

如果對文章中的內(nèi)容有疑問或者想要了解更多軟件工程上一些設(shè)計決策背后的原因，可以在博客下面留言，作者會及時回復(fù)本文相關(guān)的疑問并選擇其中合適的主題作為后續(xù)的內(nèi)容。

參考資料

Kubelet/Kubernetes should work with Swap Enabled #53533 https://github.com/kubernetes/kubernetes/issues/53533

Linux Performance: Why You Should Almost Always Add Swap Space https://haydenjames.io/linux-performance-almost-always-add-swap-space/

Do we really need swap on modern systems? https://www.redhat.com/en/blog/do-we-really-need-swap-modern-systems

本文轉(zhuǎn)載自微信公眾號「真沒什么邏輯」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系真沒什么邏輯公眾號。