Hello folks，我是 Luga，今天我們來聊一下人工智能應(yīng)用場景 - 構(gòu)建高效、靈活的計算架構(gòu)的 GPU 計算共享方案。

眾所周知，隨著 AI 領(lǐng)域?qū)?GPU 資源需求的不斷增長，高效的資源管理變得至關(guān)重要。這不僅能夠確保系統(tǒng)性能的最優(yōu)化，還能實(shí)現(xiàn)對昂貴 GPU 資源的高效分配。

在這一背景下，分片式 GPU（Fractional GPU） 技術(shù)發(fā)揮了重要作用。通過這一技術(shù)，用戶能夠靈活優(yōu)化 GPU 的利用率，根據(jù)具體需求精確調(diào)整工作負(fù)載的 GPU 資源分配，從而避免資源浪費(fèi)或性能瓶頸的問題。

一、共享 GPU 工作負(fù)載當(dāng)前現(xiàn)狀與挑戰(zhàn)

在實(shí)際的業(yè)務(wù)場景中，當(dāng)我們需要通過 GPU 承載某個工作負(fù)載時，需要同時使用 GPU 的內(nèi)存子系統(tǒng)和計算子系統(tǒng)。其中，內(nèi)存子系統(tǒng)負(fù)責(zé)數(shù)據(jù)的存儲與讀取，計算子系統(tǒng)則負(fù)責(zé)實(shí)際的計算任務(wù)。對于單一工作負(fù)載來說，通常需要充分利用 GPU 的全部內(nèi)存和計算能力。

然而，在多個工作負(fù)載共享同一塊 GPU 的場景下，這些工作負(fù)載不可避免地會競爭 GPU 資源的訪問權(quán)限。如果缺乏有效的資源管理，這種競爭將導(dǎo)致工作負(fù)載無法獲得所需的內(nèi)存或計算資源，從而帶來性能下降和用戶體驗(yàn)不佳的后果。

具體而言，在共享 GPU 集群環(huán)境中，多個 AI 工作負(fù)載常常需要同時運(yùn)行在同一塊 GPU 上。例如，在深度學(xué)習(xí)模型的訓(xùn)練和推理任務(wù)中，一些工作負(fù)載可能需要較大的顯存來存儲訓(xùn)練數(shù)據(jù)，而另一些工作負(fù)載可能對計算資源有更高需求。然而，傳統(tǒng)的 GPU 資源分配方式通常無法對這兩類資源進(jìn)行細(xì)粒度的分配和管理，導(dǎo)致 GPU 的使用效率低下，并且難以確保每個任務(wù)的性能穩(wěn)定性。

分片式 GPU（Fractional GPU）技術(shù)，為用戶提供了每個工作負(fù)載的 GPU 內(nèi)存配置功能。這一功能使得多個工作負(fù)載在共享同一塊 GPU 時，可以高效地分配顯存資源。例如，當(dāng)兩到三個輕量級推理任務(wù)共享 GPU 時，顯存資源可以根據(jù)各自需求進(jìn)行劃分，從而避免資源浪費(fèi)或顯存不足的問題。

然而，在 GPU 計算子系統(tǒng)的資源分配上，傳統(tǒng)方式存在較大局限性。以往，GPU 的計算能力通常是平均分配給并發(fā)的工作負(fù)載，而缺乏基于需求的動態(tài)調(diào)整。例如：

• 如果某個工作負(fù)載被分配了 50% 的 GPU 內(nèi)存，那么在其單獨(dú)運(yùn)行時，能夠享受 GPU 的全部計算能力。
• 但當(dāng) 5 個其他工作負(fù)載同時運(yùn)行時，此時，工作負(fù)載的計算能力可能會被平均分配到 GPU 的 1/6，這種固定比例的資源分配方式，無法滿足高優(yōu)先級任務(wù)的性能需求，容易導(dǎo)致吞吐量不可預(yù)測或延遲增加，最終影響業(yè)務(wù)穩(wěn)定性和用戶滿意度。

這種局限性在實(shí)際場景中可能會帶來顯著問題。例如：

• 深度學(xué)習(xí)推理：在實(shí)時視頻分析或語音識別中，推理延遲直接決定用戶體驗(yàn)。若推理任務(wù)因其他工作負(fù)載干擾導(dǎo)致 GPU 計算資源不足，可能會引發(fā)延遲超標(biāo)，進(jìn)而影響業(yè)務(wù)服務(wù)。
• 模型訓(xùn)練：當(dāng)多個團(tuán)隊(duì)共享同一塊 GPU 進(jìn)行訓(xùn)練時，如果無法動態(tài)調(diào)整計算資源分配，高優(yōu)先級的模型訓(xùn)練任務(wù)可能會受到低優(yōu)先級任務(wù)的干擾，延長訓(xùn)練周期，降低整體效率。

針對這一痛點(diǎn)，分片式 GPU 技術(shù)便應(yīng)運(yùn)而生，將其支持范圍從“顯存分配”擴(kuò)展到 GPU 計算資源的動態(tài)配置。這種改進(jìn)使得用戶可以針對不同的工作負(fù)載需求，獨(dú)立配置 GPU 的計算能力，從而在多任務(wù)環(huán)境下實(shí)現(xiàn)更穩(wěn)定和高效的資源分配。

二、分片式 GPU（Fractional GPU）解決哪些問題？

為了應(yīng)對 GPU 資源共享中面臨的挑戰(zhàn)，分片式 GPU 技術(shù)通過以下三種模式，使用戶能夠以工作負(fù)載為單位，對 GPU 計算共享進(jìn)行更精細(xì)的控制。具體可參考 ：

1. 基于優(yōu)先級的計算共享（Priority-Based Mode - 優(yōu)先級模式）

基于優(yōu)先級計算共享可以為每個工作負(fù)載配置特定的優(yōu)先級。這種模式確保高優(yōu)先級的工作負(fù)載在其完成之前始終擁有對所有計算資源的完全訪問權(quán)限。這項(xiàng)增強(qiáng)功能使用戶能夠保證關(guān)鍵任務(wù)的穩(wěn)定性能，避免因資源競爭導(dǎo)致的性能下降。

2. 可配置的時間片比例（Fair Mode - 公平模式）

基于此種模式，用戶可以定義每個工作負(fù)載在 GPU 上獲得的時間片比例。時間片是指 GPU 在一段時間內(nèi)分配給某個工作負(fù)載進(jìn)行計算的時間段。通過配置時間片比例，可以實(shí)現(xiàn)對資源分配的精細(xì)化控制，確保每個工作負(fù)載根據(jù)其重要性獲得適當(dāng)比例的計算資源。

3. 可配置的計算消耗上限（Strict Mode - 嚴(yán)格模式）

基于此種模式，用戶可以為每個工作負(fù)載配置計算資源利用率的上限。這種模式可以防止某個工作負(fù)載長時間占用所有資源，從而對其他工作負(fù)載的性能產(chǎn)生負(fù)面影響，確保資源的公平共享。

三、分片式 GPU（Fractional GPU）應(yīng)用場景解析

在實(shí)際的業(yè)務(wù)場景中，基于分片式 GPU（Fractional GPU）技術(shù)所具備的靈活性和強(qiáng)大的配置能力，為多種應(yīng)用場景帶來了高效且精確的資源分配方式，具體可參考如下：

1. 具有不同優(yōu)先級的模型推理服務(wù)

設(shè)想這樣一種場景：多個推理服務(wù)運(yùn)行在同一個 GPU 集群上，但它們具有不同的優(yōu)先級。一些推理服務(wù)負(fù)責(zé)處理對響應(yīng)時間要求極高的實(shí)時請求，而另一些則處理對響應(yīng)時  間要求不嚴(yán)格的后臺任務(wù)或離線請求（即服務(wù)級別協(xié)議 (SLA) 不那么嚴(yán)格）。

傳統(tǒng)的 GPU 資源分配方式通常無法有效地處理這種混合工作負(fù)載。高優(yōu)先級任務(wù)可能會因?yàn)橘Y源不足而受到影響，而低優(yōu)先級任務(wù)則可能占用過多資源，造成浪費(fèi)。

而基于分片式 GPU 解決方案能夠有效地解決這一問題。它可以根據(jù)任務(wù)的優(yōu)先級動態(tài)調(diào)整 GPU 資源的分配。例如，當(dāng)有新的實(shí)時請求到達(dá)時，可以自動暫?；蚪档偷蛢?yōu)先級任務(wù)的資源占用，確保關(guān)鍵的實(shí)時服務(wù)器能夠及時獲得所需的計算資源，從而避免性能瓶頸，保障服務(wù)的平穩(wěn)運(yùn)行。一旦高優(yōu)先級任務(wù)完成，便會自動恢復(fù)低優(yōu)先級任務(wù)的執(zhí)行，最大限度地提高 GPU 的整體利用率。

打個比方，在一個在線購物平臺的推薦系統(tǒng)中，用戶瀏覽商品時觸發(fā)的推薦請求需要快速響應(yīng)，屬于高優(yōu)先級任務(wù)；而后臺的模型更新任務(wù)則可以容忍一定的延遲，屬于低優(yōu)先級任務(wù)。使用此解決方案，可以確保推薦請求得到及時的處理，同時又不影響后臺模型的更新。

2. 具有不同 SLA 的模型推理服務(wù)

在實(shí)際的場景中，不同的推理服務(wù)可能需要不同的響應(yīng)時間。一些服務(wù)需要極短的響應(yīng)時間以滿足實(shí)時性要求，而另一些服務(wù)則可以容忍較長的響應(yīng)時間。

分片式 GPU 允許為不同的服務(wù)配置不同的時間共享比例，從而根據(jù)需求和 SLA 要求分配 GPU 計算資源。例如，對于需要高吞吐量和低延遲的服務(wù)，可以分配更高的 GPU 時間片；而對于可以容忍一定延遲的服務(wù)，則可以分配較低的 GPU 時間片。這種精細(xì)化的控制能夠確保 GPU 計算資源按照實(shí)際需求進(jìn)行分配，避免資源浪費(fèi)和性能瓶頸。

例如， 一個在線游戲服務(wù)需要極低的延遲以保證用戶體驗(yàn)，而一個后臺的數(shù)據(jù)分析服務(wù)則可以容忍一定的延遲。基于此解決方案，可以為游戲服務(wù)分配更高的 GPU 時間片，確保游戲的流暢運(yùn)行，同時又能利用剩余的 GPU 資源進(jìn)行數(shù)據(jù)分析。

3. 共享 GPU 集群上進(jìn)行模型訓(xùn)練的不同租戶

通常，在研究與開發(fā)環(huán)境中，多個用戶通常需要共享同一 GPU 集群來訓(xùn)練 AI 模型。然而，傳統(tǒng)的資源分配方式往往面臨資源競爭和分配不公平的問題，不僅導(dǎo)致模型訓(xùn)練效率下降，還可能對訓(xùn)練過程的穩(wěn)定性產(chǎn)生負(fù)面影響。

借助分片式 GPU 解決方案，用戶可以根據(jù)自身需求靈活設(shè)置任務(wù)優(yōu)先級和資源分配比例，從而實(shí)現(xiàn)對 GPU 資源的公平訪問，同時保證模型訓(xùn)練性能的穩(wěn)定性和一致性。通過優(yōu)先級機(jī)制，高優(yōu)先級任務(wù)能夠在資源分配中占據(jù)優(yōu)勢，確保關(guān)鍵任務(wù)及時完成，而低優(yōu)先級任務(wù)則在資源空閑時被動態(tài)調(diào)度，充分利用集群計算能力。

舉例說明，在某研究團(tuán)隊(duì)中，多個成員需要同時使用共享的 GPU 集群開展各自的模型訓(xùn)練工作。傳統(tǒng)模式下，不同成員的任務(wù)可能因資源爭奪導(dǎo)致訓(xùn)練效率降低，甚至影響整體進(jìn)度。引入分片式 GPU 解決方案后，團(tuán)隊(duì)成員可以根據(jù)任務(wù)的緊急程度、復(fù)雜性及重要性，自主申請 GPU 資源并設(shè)定優(yōu)先級。調(diào)度系統(tǒng)會依據(jù)這些優(yōu)先級，智能化分配 GPU 計算和內(nèi)存資源，避免資源沖突和分配不均的問題。

這一策略不僅有效提升了 GPU 集群的整體利用效率，還顯著優(yōu)化了團(tuán)隊(duì)協(xié)作環(huán)境，使高優(yōu)先級任務(wù)的訓(xùn)練得到優(yōu)先保障，而低優(yōu)先級任務(wù)則在資源空閑時被合理調(diào)度運(yùn)行，從而實(shí)現(xiàn)了資源的最大化利用和團(tuán)隊(duì)生產(chǎn)力的整體提升。

今天的解析就到這里。欲了解更多關(guān)于 GPU 相關(guān)技術(shù)的深入剖析、最佳實(shí)踐以及相關(guān)技術(shù)前沿，敬請關(guān)注我們的微信公眾號“架構(gòu)驛站”，獲取更多獨(dú)家技術(shù)洞察 ！

Happy Coding ~

Reference ：

• [1] https://docs.nvidia.com/
• [2] https://mp.weixin.qq.com/s/W28AMNxoOnajbFyJ8ETAkg