近日,自然語(yǔ)言處理(NLP)領(lǐng)域的頂級(jí)會(huì)議ACL 2021(Annual Meeting of the Association for Computational Linguistics)和人工智能領(lǐng)域的頂級(jí)會(huì)議IJCAI 2021(International Joint Conference on Artificial Intelligence)相繼揭曉論文錄用結(jié)果,專注醫(yī)療人工智能與大數(shù)據(jù)技術(shù)研究的騰訊天衍實(shí)驗(yàn)室共有3篇長(zhǎng)文被ACL 2021主會(huì)錄用,1篇長(zhǎng)文被Findings of ACL錄用,1篇長(zhǎng)文被IJCAI 2021錄用,論文內(nèi)容涵蓋信息抽取、問題生成、文檔檢索以及知識(shí)圖譜對(duì)齊等經(jīng)典NLP研究方向。此外,在近期公布的數(shù)據(jù)挖掘領(lǐng)域國(guó)際會(huì)議PAKDD獲獎(jiǎng)名單中,騰訊天衍實(shí)驗(yàn)室在疾病預(yù)測(cè)領(lǐng)域的最新研究進(jìn)展也榮獲了最佳學(xué)生論文獎(jiǎng)項(xiàng)。

　　隨著AI技術(shù)與醫(yī)療行業(yè)走向深度融合,應(yīng)用AI助推醫(yī)療智慧化、數(shù)字化升級(jí)已經(jīng)成為未來發(fā)展方向之一。在本次獲錄的多篇論文中,騰訊天衍實(shí)驗(yàn)室基于醫(yī)學(xué)AI臨床應(yīng)用中的多種場(chǎng)景,針對(duì)多種機(jī)器學(xué)習(xí)方法展開了創(chuàng)新性研究,研發(fā)突破多項(xiàng)行業(yè)技術(shù)應(yīng)用難點(diǎn),有望充分釋放AI在醫(yī)療場(chǎng)景運(yùn)用中的潛力,加速助推AI在醫(yī)療健康領(lǐng)域的實(shí)踐進(jìn)程。

　　ACL是計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域影響力最大、最具活力的國(guó)際學(xué)術(shù)會(huì)議之一,由計(jì)算語(yǔ)言學(xué)協(xié)會(huì)主辦,每年都會(huì)有眾多頂級(jí)學(xué)術(shù)機(jī)構(gòu)和科技企業(yè)如斯坦福大學(xué)、谷歌等,在會(huì)議上提交在自然語(yǔ)言處理、人工智能、機(jī)器學(xué)習(xí)方面的最新研究成果。2021年ACL共收到3350篇長(zhǎng)文投稿,主會(huì)錄用率21.3%。IJCAI則是國(guó)際人工智能聯(lián)合會(huì)議,也是人工智能研究人員和實(shí)踐者的頂級(jí)國(guó)際聚會(huì),在人工智能領(lǐng)域備受學(xué)界關(guān)注,2021年共收到4204篇有效投稿,最終錄用率僅為13.9%。

　　讀懂醫(yī)療文檔中的復(fù)雜關(guān)聯(lián)

　　在醫(yī)療查詢領(lǐng)域,天衍實(shí)驗(yàn)室提供了多種醫(yī)療文檔檢索功能,如相似病例檢索,基于醫(yī)療文檔的檢索與問答等。由于檢索速度和內(nèi)存占用的需求,文檔哈希在現(xiàn)今的大規(guī)模信息檢索系統(tǒng)中扮演著越來越重要的角色。大量工作表明,醫(yī)療文本之間的語(yǔ)義以及鄰居信息在該文本的編碼和表達(dá)過程中往往扮演著更重要的角色,也對(duì)生產(chǎn)高質(zhì)量哈希碼起著關(guān)鍵作用。為了將兩種信息良好地融合,在論文中,天衍實(shí)驗(yàn)室將鄰居信息建模在基于圖誘導(dǎo)的高斯分布中,并通過圖驅(qū)動(dòng)生成模型將語(yǔ)義和鄰居信息融合。

　　為了進(jìn)一步處理文檔直接復(fù)雜的關(guān)聯(lián)關(guān)系,天衍實(shí)驗(yàn)室進(jìn)一步提出基于樹結(jié)構(gòu)的近似方法來加速訓(xùn)練。通過該近似方法,證明了訓(xùn)練目標(biāo)可以被分解為多個(gè)單個(gè)文檔或文檔對(duì),從而提高模型的訓(xùn)練效率。通過結(jié)合文本本身的語(yǔ)義信息及文檔之間的相關(guān)性,該算法能很好地將文檔相似性映射到哈希碼中,從而大大提高了文檔檢索的速度。

　　在智能問答場(chǎng)景下,天衍實(shí)驗(yàn)室也開發(fā)設(shè)計(jì)了多種不同的問答助手,例如在醫(yī)保政策問答助手,嵌入各地醫(yī)保相關(guān)服務(wù)公眾號(hào),協(xié)助回答用戶醫(yī)保政策相關(guān)的各類問題。然而,由于醫(yī)療場(chǎng)景的特殊性,天衍實(shí)驗(yàn)室的研究員們發(fā)現(xiàn)先要獲取到大量高質(zhì)量的問答語(yǔ)料是很困難的,因此在論文中,研究人員提出一種難度可控的多跳問題生成技術(shù),旨在生成那些需要對(duì)文本中多處內(nèi)容、進(jìn)行多層推理才能作答的困難問題。

　　具體來說,對(duì)于一篇給定的文本c和指定的問題推理層級(jí)d,該技術(shù)將先對(duì)其內(nèi)容進(jìn)行構(gòu)圖,然后從中抽取一條推理鏈,以此生成相關(guān)問題。先由一個(gè)簡(jiǎn)單問題生成器QGInitial生成一個(gè)初始問題,再使用另一個(gè)問題改寫模型QGRewrite將其改寫為一個(gè)更困難的問題。QGRewrite共將重復(fù)使用d-1次,從而將問題逐步改寫為包含d層推理的復(fù)雜問題。在未來,該問題生成技術(shù)可用于為醫(yī)保政策、醫(yī)療文獻(xiàn)生成配套試題,測(cè)試相關(guān)人員的掌握程度。

　　除此之外,在醫(yī)療場(chǎng)景中,從醫(yī)學(xué)相關(guān)文本中提取關(guān)鍵信息也一直是NLP在業(yè)務(wù)中落地的一個(gè)核心切入點(diǎn)。例如在篇章級(jí)別的藥品說明書中抽取(藥品,適應(yīng)癥,疾病)等各種關(guān)系三元組構(gòu)成藥品知識(shí)庫(kù)以支持處方合理性審核,用藥推薦等多個(gè)業(yè)務(wù)場(chǎng)景。但在實(shí)際算法設(shè)計(jì)過程中,研究人員發(fā)現(xiàn)由于醫(yī)療知識(shí)的復(fù)雜性,不同實(shí)體類別之間兩兩組合可以構(gòu)成多種關(guān)系,而冗余的關(guān)系類別會(huì)極大的影響模型效率和表現(xiàn),所以天衍實(shí)驗(yàn)室提出一個(gè)全新的關(guān)系抽取框架,將其拆分為三個(gè)子任務(wù):關(guān)系類別預(yù)測(cè),實(shí)體抽取以及頭尾實(shí)體配對(duì)。

　　首先,該模型通過關(guān)系類別預(yù)測(cè)模塊從冗余的備選關(guān)系中選取最有可能的關(guān)系子集,然后以預(yù)測(cè)得到的關(guān)系類別作為序列標(biāo)注的標(biāo)簽抽取相關(guān)實(shí)體,在此過程中,研究人員也利用序列標(biāo)注技術(shù)的特點(diǎn)解決了頭尾實(shí)體嵌套的問題,最后模型通過構(gòu)建實(shí)體詞之間的關(guān)聯(lián)矩陣完成頭尾實(shí)體之間的組合配對(duì)。一系列實(shí)驗(yàn)結(jié)果都證明該模型不僅提升了關(guān)系抽取的效率,也在NYT和WebNLG等多個(gè)關(guān)系抽取數(shù)據(jù)集上達(dá)到了SOTA效果。

　　破解醫(yī)療知識(shí)圖譜對(duì)齊技術(shù)瓶頸

　　醫(yī)療知識(shí)圖譜是醫(yī)療信息化中最重要的一項(xiàng)技術(shù),也是實(shí)現(xiàn)智慧醫(yī)療的基石。在構(gòu)建和更新醫(yī)療知識(shí)圖譜時(shí),知識(shí)圖譜的對(duì)齊技術(shù)可以將多個(gè)不同來源的多個(gè)異構(gòu)醫(yī)療知識(shí)圖譜進(jìn)行實(shí)體和本體兩個(gè)層面的對(duì)齊,以構(gòu)建知識(shí)覆蓋度更廣的醫(yī)療知識(shí)圖譜。在天衍實(shí)驗(yàn)室的實(shí)際業(yè)務(wù)中,研究人員也是利用了知識(shí)圖譜對(duì)齊技術(shù)將各個(gè)業(yè)務(wù)上的醫(yī)療垂域知識(shí)圖譜進(jìn)行對(duì)齊融合,形成了一整套大規(guī)模高置信的醫(yī)療知識(shí)圖譜,作為驅(qū)動(dòng)騰訊智能醫(yī)療的重要根基。在這次放榜的兩大會(huì)議中,天衍實(shí)驗(yàn)室也發(fā)表了兩篇知識(shí)圖譜對(duì)齊方向的最新研究成果。

　　現(xiàn)有的知識(shí)圖譜對(duì)齊方法大體上可以分為基于推理的傳統(tǒng)方法和基于神經(jīng)網(wǎng)絡(luò)的方法,兩者有各自的優(yōu)勢(shì)但又存在著各自的問題:基于推理的傳統(tǒng)方法無法有效利用知識(shí)圖譜的圖結(jié)構(gòu)信息,而基于神經(jīng)網(wǎng)絡(luò)的方法無法利用適當(dāng)?shù)耐评韥頊p少錯(cuò)誤對(duì)齊。因此,天衍實(shí)驗(yàn)室提出了一種迭代框架(PRASE),將兩種方法有效地融合,來達(dá)成相互增強(qiáng)的目的。天衍實(shí)驗(yàn)室的PRASE框架可以兼容傳統(tǒng)方法PARIS和多種神經(jīng)網(wǎng)絡(luò)方法。在多個(gè)公開數(shù)據(jù)集和一個(gè)工業(yè)數(shù)據(jù)集(醫(yī)療知識(shí)圖譜)上均表現(xiàn)出了PRASE的SOTA性能。

　　知識(shí)圖譜表示學(xué)習(xí)常常用在知識(shí)圖譜對(duì)齊任務(wù)上,但是目前的表示學(xué)習(xí)模型通常只會(huì)建模圖結(jié)構(gòu)信息、實(shí)體名稱信息、實(shí)體屬性信息,而沒有考慮知識(shí)圖譜的本體信息。本體定義了知識(shí)圖譜的元信息以及實(shí)體的類別信息,在知識(shí)圖譜及其應(yīng)用中有重要作用。在論文中,天衍實(shí)驗(yàn)室提出了一種基于本體指導(dǎo)的知識(shí)圖譜對(duì)齊模型(OntoEA),將知識(shí)圖譜和本體層級(jí)信息共同進(jìn)行建模,來發(fā)現(xiàn)并避免錯(cuò)誤實(shí)體對(duì)齊中的類別沖突(class conflict)。天衍實(shí)驗(yàn)室提出的OntoEA模型在多個(gè)公開數(shù)據(jù)集和一個(gè)工業(yè)數(shù)據(jù)集(醫(yī)療知識(shí)圖譜)上均超過了現(xiàn)有的知識(shí)圖譜對(duì)齊模型,這也證明了引入本體信息的有效性。

　　突破AI臨床輔診“普適性”難題

　　在實(shí)際業(yè)務(wù)場(chǎng)景中,輔診系統(tǒng)需要落地到不同的醫(yī)院,而不同醫(yī)院的接診病例、疾病體系存在較大的差異,研究人員不斷接到新的醫(yī)院數(shù)據(jù),遇到新的疾病類別。隨著數(shù)據(jù)量的增多,結(jié)合全量數(shù)據(jù)進(jìn)行模型訓(xùn)練會(huì)耗費(fèi)大量存儲(chǔ)和計(jì)算資源。面對(duì)此問題,研究人員考慮將其建模為一個(gè)增量學(xué)習(xí)的過程,即以序列形式,訓(xùn)練多個(gè)機(jī)器學(xué)習(xí)模型的任務(wù),保證模型對(duì)新舊類別的數(shù)據(jù)均具有良好的識(shí)別性能。

　　首先研究人員在模型中加入基于醫(yī)療實(shí)體抽取的預(yù)測(cè)通道,以文本中的醫(yī)療實(shí)體作為輸入,該預(yù)測(cè)通道既增大了醫(yī)療實(shí)體在疾病預(yù)測(cè)模型中的作用也為疾病預(yù)測(cè)的結(jié)果提供了一定的可解釋性。另外研究人員提出對(duì)于文本,實(shí)體兩個(gè)預(yù)測(cè)通道的編碼結(jié)果進(jìn)行二次映射,構(gòu)建一個(gè)基于醫(yī)療普適知識(shí)的特征空間,并不斷復(fù)用到新的任務(wù)中,保證在新任務(wù)所學(xué)到的特征能夠和之前任務(wù)所學(xué)到的特征進(jìn)行一定程度的融合,以達(dá)到同一模型迅速?gòu)?fù)用于新醫(yī)院新疾病體系且避免災(zāi)難性遺忘的目的。

　　本次天衍實(shí)驗(yàn)室多篇上會(huì)論文不僅在研發(fā)層面實(shí)現(xiàn)多項(xiàng)重磅技術(shù)突破,具有重要學(xué)術(shù)價(jià)值和臨床應(yīng)用價(jià)值,研究員們也將其技術(shù)輸出到騰訊健康小程序、QQ瀏覽器、微信搜一搜等C端應(yīng)用、以及AI基層司、智慧醫(yī)保、公衛(wèi)等B/G端應(yīng)用,將創(chuàng)新科技落地到實(shí)際應(yīng)用中,以進(jìn)一步服務(wù)醫(yī)生和患者,從社會(huì)實(shí)踐層面發(fā)揮科技創(chuàng)新助力醫(yī)療行業(yè)智慧化發(fā)展的普世價(jià)值。

　　作為醫(yī)療AI 領(lǐng)域的創(chuàng)新力量,騰訊天衍實(shí)驗(yàn)室秉承“科技向善”核心理念,一直以來專注于醫(yī)療健康領(lǐng)域AI算法研究及落地,以實(shí)際場(chǎng)景為依托不斷在NLP,知識(shí)圖譜、大數(shù)據(jù)以及醫(yī)療影像等領(lǐng)域探索最前沿的技術(shù),已成功支持了數(shù)百家醫(yī)院的輔診、導(dǎo)診、疾病輔助診斷、智能用藥等產(chǎn)品,助力醫(yī)保、醫(yī)院、疾控中心和其他醫(yī)療機(jī)構(gòu)的智能化知識(shí)挖掘和管理難題,實(shí)現(xiàn)知識(shí)化轉(zhuǎn)型。

　　ACL 2021主會(huì)錄用論文3篇:

　　Findings of ACL錄用1篇

　　IJCAI 2021錄用1篇:

　　PAKDD 2021最佳學(xué)生論文1篇: