近日，CVPR2022各項(xiàng)競(jìng)賽結(jié)果陸續(xù)公布， 字節(jié)跳動(dòng)智能創(chuàng)作AI平臺(tái)「Byte-IC-AutoML」團(tuán)隊(duì)在基于合成數(shù)據(jù)的實(shí)例分割挑戰(zhàn)賽（ Accessibility Vision and Autonomy Challenge ，下文簡(jiǎn)稱AVA) 中，憑借自研的 Parallel Pre-trained Transformers (PPT) 框架脫穎而出，成為該比賽唯一賽道的冠軍。

論文地址：??https://arxiv.org/abs/2206.10845??

本屆AVA競(jìng)賽由波士頓大學(xué)(Boston University)和卡耐基梅隆大學(xué)(Carnegie Mellon University)聯(lián)合舉辦。

競(jìng)賽通過(guò)渲染引擎得到一個(gè)合成的實(shí)例分割數(shù)據(jù)集，其中包含與殘疾行人交互的自治系統(tǒng)的數(shù)據(jù)樣例。競(jìng)賽目標(biāo)是為無(wú)障礙相關(guān)人與物提供目標(biāo)檢測(cè)和實(shí)例分割的基準(zhǔn)和方法。

數(shù)據(jù)集可視化

競(jìng)賽難點(diǎn)分析

1. 領(lǐng)域泛化問(wèn)題：本次比賽數(shù)據(jù)集均為渲染引擎合成的圖像, 數(shù)據(jù) domain 和自然圖像存在顯著差異；
2. 長(zhǎng)尾/少樣本問(wèn)題：數(shù)據(jù)存在長(zhǎng)尾分布, 如 "拐杖" 和 "輪椅" 類別在數(shù)據(jù)集中更少, 分割效果也更差；
3. 分割魯棒性問(wèn)題：些類別的分割效果非常差, 實(shí)例分割 mAP 比目標(biāo)檢測(cè)分割 mAP 低 30

技術(shù)方案詳解

Byte-IC-AutoML團(tuán)隊(duì)提出了一個(gè)Parallel Pre-trained Transformers (PPT)框架來(lái)完成。框架主要由三個(gè)模塊組成：1）并行的大規(guī)模預(yù)訓(xùn)練的Transformers；2）Balance Copy-Paste 數(shù)據(jù)增強(qiáng)；3）像素級(jí)別的非極大值抑制和模型融合；

并行大規(guī)模預(yù)訓(xùn)練Transformers

最近很多的預(yù)訓(xùn)練文章表明，大規(guī)模數(shù)據(jù)集預(yù)訓(xùn)練的模型可以很好地泛化到不同的下游場(chǎng)景中。因此，團(tuán)隊(duì)使用 COCO 和BigDetection 數(shù)據(jù)集先對(duì)模型進(jìn)行預(yù)訓(xùn)練，這可以較大程度地緩解自然數(shù)據(jù)和合成數(shù)據(jù)之間的領(lǐng)域偏差，以便可以在下游的合成數(shù)據(jù)場(chǎng)景中用較少的樣本快速訓(xùn)練。在模型層面, 考慮到 Vision Transformers 沒(méi)有 CNN 的歸納偏置, 更能享受預(yù)訓(xùn)練帶來(lái)的好處，團(tuán)隊(duì)使用 UniFormer 和CBNetV2。UniFormer 統(tǒng)一了 convolution 和 self-attention，同時(shí)解決 local redundancy 和 global dependency 兩大問(wèn)題，實(shí)現(xiàn)高效的特征學(xué)習(xí)。CBNetV2 架構(gòu)串接多個(gè)相同的主干分組，這些主干通過(guò)復(fù)合連接來(lái)構(gòu)建高性能檢測(cè)器。模型的主干特征提取器都是 Swin Transformer。多個(gè)大規(guī)模預(yù)訓(xùn)練的 Transformers 通過(guò)并行的方式排列，輸出的結(jié)果進(jìn)行集成學(xué)習(xí)輸出最終的結(jié)果。

不同方法在驗(yàn)證數(shù)據(jù)集上的mAP

Balance Copy-Paste 數(shù)據(jù)增強(qiáng)

Copy-Paste技術(shù)通過(guò)隨機(jī)粘貼對(duì)象為實(shí)例分割模型提供了令人印象深刻的結(jié)果，尤其是對(duì)于長(zhǎng)尾分布下的數(shù)據(jù)集。然而，這種方法均衡地增加了所有類別的樣本，并沒(méi)能從根本上緩解類別分布的長(zhǎng)尾問(wèn)題。因此，團(tuán)隊(duì)提出了Balance Copy-Paste 數(shù)據(jù)增強(qiáng)方法。Balance Copy-Paste 根據(jù)類別的有效數(shù)量自適應(yīng)地對(duì)類別進(jìn)行采樣，提高了整體的樣本質(zhì)量，緩解了樣本數(shù)少和長(zhǎng)尾分布的問(wèn)題, 最終大幅提升了模型在實(shí)例分割上的 mAP。

Balance Copy-Paste數(shù)據(jù)增強(qiáng)技術(shù)帶來(lái)的提升

像素級(jí)別的非極大值抑制和模型融合

驗(yàn)證集上的模型融合消融實(shí)驗(yàn)

測(cè)試集上的模型融合消融實(shí)驗(yàn)

目前，城市和交通數(shù)據(jù)集更多的是通用場(chǎng)景, 只包含正常的交通工具和行人，數(shù)據(jù)集中缺乏關(guān)于殘疾人及行動(dòng)不便的人, 以及其輔助設(shè)備的類別，利用當(dāng)前已有數(shù)據(jù)集得到的檢測(cè)模型無(wú)法檢測(cè)出這些人與物體。

字節(jié)跳動(dòng)Byte-IC-AutoML團(tuán)隊(duì)的這項(xiàng)技術(shù)方案，對(duì)目前自動(dòng)駕駛和街道場(chǎng)景理解有廣泛應(yīng)用：經(jīng)過(guò)這些合成數(shù)據(jù)得到的模型可以識(shí)別出“輪椅”，“在輪椅上的人”，“拄拐杖的人”等少見(jiàn)的類別，不但能更加精細(xì)地對(duì)人群/物體進(jìn)行劃分, 而且不會(huì)錯(cuò)判誤判導(dǎo)致場(chǎng)景理解錯(cuò)誤。此外, 通過(guò)這種合成數(shù)據(jù)的方式, 可以構(gòu)造出真實(shí)世界中比較少見(jiàn)類別的數(shù)據(jù), 從而訓(xùn)練更加通用, 更加完善的目標(biāo)檢測(cè)模型。

智能創(chuàng)作是字節(jié)跳動(dòng)的多媒體創(chuàng)新科技研究所和綜合型服務(wù)商。覆蓋了計(jì)算機(jī)視覺(jué)、圖形學(xué)、語(yǔ)音、拍攝編輯、特效、客戶端、AI平臺(tái)、服務(wù)端工程等技術(shù)領(lǐng)域，在部門(mén)內(nèi)部實(shí)現(xiàn)了前沿算法-工程系統(tǒng)-產(chǎn)品全鏈路的閉環(huán)，旨在以多種形式向公司內(nèi)部各業(yè)務(wù)線以及外部合作客戶提供業(yè)界最前沿的內(nèi)容理解、內(nèi)容創(chuàng)作、互動(dòng)體驗(yàn)與消費(fèi)的能力和行業(yè)解決方案。團(tuán)隊(duì)技術(shù)能力正通過(guò)火山引擎對(duì)外開(kāi)放。

火山引擎是字節(jié)跳動(dòng)旗下的云服務(wù)平臺(tái)，將字節(jié)跳動(dòng)快速發(fā)展過(guò)程中積累的增長(zhǎng)方法、技術(shù)能力和工具開(kāi)放給外部企業(yè)，提供云基礎(chǔ)、視頻與內(nèi)容分發(fā)、大數(shù)據(jù)、人工智能、開(kāi)發(fā)與運(yùn)維等服務(wù)，幫助企業(yè)在數(shù)字化升級(jí)中實(shí)現(xiàn)持續(xù)增長(zhǎng)。