充分利用企業(yè)數(shù)據(jù)是當(dāng)今 IT 領(lǐng)導(dǎo)者最關(guān)心的問題。隨著企業(yè)在業(yè)務(wù)決策中尋求更多的數(shù)據(jù)驅(qū)動，IT 領(lǐng)導(dǎo)者必須制定數(shù)據(jù)戰(zhàn)略，以便從數(shù)據(jù)中創(chuàng)造價(jià)值，無論數(shù)據(jù)存在于何處或以何種形式存在。

對于許多企業(yè)來說，文本、視頻、音頻、社交媒體、圖像、傳感器和其他格式的非結(jié)構(gòu)化數(shù)據(jù)仍然是難以捉摸和尚未開發(fā)的。據(jù)行業(yè)研究估計(jì)，多達(dá) 90% 的企業(yè)數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，但根據(jù) Foundry 的研究，61% 的 IT 領(lǐng)導(dǎo)者表示，管理非結(jié)構(gòu)化數(shù)據(jù)是他們組織面臨的一個問題，另有 24% 的 IT 領(lǐng)導(dǎo)者甚至沒有將非結(jié)構(gòu)化數(shù)據(jù)列入他們的數(shù)據(jù)和分析短名單。

非結(jié)構(gòu)化數(shù)據(jù)資源對于獲得業(yè)務(wù)洞察力和解決問題極具價(jià)值。關(guān)鍵在于如何創(chuàng)造這種價(jià)值。能夠熟練利用這些龐大信息資源的企業(yè)，可以在為關(guān)鍵業(yè)務(wù)流程提供可操作的洞察力方面獲得顯著優(yōu)勢。

下面我們來看看那些富有創(chuàng)造力的企業(yè)是如何將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為商業(yè)價(jià)值的，以及如何讓非結(jié)構(gòu)化數(shù)據(jù)為您的組織工作的一些技巧。

01 ｜增強(qiáng)創(chuàng)意流程

移動游戲開發(fā)公司 RetroStyle Games 的數(shù)據(jù)分析師 Ivan Konoval 說，在該公司，非結(jié)構(gòu)化數(shù)據(jù)已被證明是一座 “金礦”，可直接促進(jìn)業(yè)務(wù)增長和游戲改進(jìn)。

在 RetroSyle Games 使用非結(jié)構(gòu)化數(shù)據(jù)的眾多方式中，影響最大的可能是收集概念圖和音頻數(shù)據(jù)。

Konoval 說：“我們游戲開發(fā)人員的創(chuàng)意過程往往始于草圖、情緒板或概念圖。"這些作品雖然沒有結(jié)構(gòu)，但卻捕捉到了我們希望在游戲中表達(dá)的精髓。為了確保這些作品不會遺失在其他作品中，并在將來制作游戲續(xù)集時(shí)可以很容易地找到，我們使用了先進(jìn)的圖像識別工具。”

這些工具會對作品中的各種元素進(jìn)行分類和標(biāo)記，無論是角色、風(fēng)景還是其他元素。Konoval 認(rèn)為：“這樣我們的美術(shù)師和開發(fā)人員就能快速找到相關(guān)的作品，從而保證設(shè)計(jì)的一致性，加快開發(fā)進(jìn)程。此外，這個系統(tǒng)還允許我們存儲有關(guān)公司藝術(shù)品開發(fā)的信息，這在培訓(xùn)新員工時(shí)非常有用?！?/p>

關(guān)于音頻數(shù)據(jù)，配音在玩家的游戲世界體驗(yàn)中起著關(guān)鍵作用，科諾瓦爾說：“我們從游戲中的對話、背景聲音和玩家語音聊天中收集了大量數(shù)據(jù)。通過語音識別和聲音分析，我們可以提取出細(xì)微差別，如情緒和情感?！?/p>

例如，如果某個對話框?qū)е峦婕沂冀K帶著興奮的情緒進(jìn)入語音聊天，開發(fā)人員就會注意到這一點(diǎn)。同樣，背景噪音等與環(huán)境不符的異常情況也會被識別出來并加以解決。

Konoval 說：“從這些音頻數(shù)據(jù)中獲得的洞察力直接有助于改善游戲的音頻體驗(yàn)，確保玩家在游戲中始終保持情感投入，并與環(huán)境互動。”

Konoval 指出，游戲是動態(tài)的，游戲產(chǎn)生的數(shù)據(jù)也是動態(tài)的。游戲內(nèi)聊天情感分析等功能需要實(shí)時(shí)處理，以過濾玩家的不當(dāng)行為。他說：“我們利用 Apache Kafka 等流處理框架解決了這個問題。這使我們的游戲管理員能夠?qū)崟r(shí)應(yīng)對任何新出現(xiàn)的模式和問題?！彪S著每款游戲的發(fā)布和更新，處理的非結(jié)構(gòu)化數(shù)據(jù)量都會呈指數(shù)級增長。他說：“如此龐大的數(shù)據(jù)量給存儲和高效處理帶來了嚴(yán)峻的挑戰(zhàn)?！?/p>

為了解決這個問題，RetroStyle Games 投資了數(shù)據(jù)湖。Konoval 說：“這不僅使我們能夠存儲大量非結(jié)構(gòu)化數(shù)據(jù)，還能對其進(jìn)行高效查詢和分析，為我們的數(shù)據(jù)科學(xué)家和開發(fā)人員提供即時(shí)訪問所需的信息?！?/p>

02 ｜為生成式人工智能提供動力

員工識別和體驗(yàn)軟件供應(yīng)商 Workhuman 正在其基于云的平臺上以多種方式利用非結(jié)構(gòu)化數(shù)據(jù)，該公司分析主管兼執(zhí)行董事 Jesse Harriott 表增：“非結(jié)構(gòu)化數(shù)據(jù)是最普遍的數(shù)據(jù)形式，但也是最難有效利用的數(shù)據(jù)?！?/p>

"哈里奧特說："非結(jié)構(gòu)化數(shù)據(jù)是最普遍的數(shù)據(jù)形式，但也是最難有效使用的數(shù)據(jù)。

Workhuman 云包含來自世界各地員工的數(shù)百萬條表揚(yáng)信息，他們分享了對同事的積極反饋。

Harriott 說：“他們用自己的話來表達(dá)，因此每個表揚(yáng)時(shí)刻都是完全獨(dú)一無二的。我們利用這些數(shù)據(jù)建立人工智能模型，幫助公司更好地定義員工在組織中的合作方式、信息中最常出現(xiàn)的主題以及整個組織的表彰獎勵是否公平?！?/p>

該公司還使用大型語言模型（LLM）來總結(jié)一段時(shí)間內(nèi)的表彰趨勢，并為有效的表彰信息提供語言建議。

Harriott 說：“我特別自豪的一項(xiàng)舉措是我們的工具 Inclusion Advisor，這是一個基于人工智能的即時(shí)輔導(dǎo)工具，可以在獎勵語言發(fā)送給受獎人之前，識別并建議糾正無意識的偏見?！?/p>

從非結(jié)構(gòu)化數(shù)據(jù)中獲取價(jià)值所面臨的最大挑戰(zhàn)之一是，對于企業(yè)重點(diǎn)關(guān)注的業(yè)務(wù)用例而言，獲得可靠、有效的培訓(xùn)數(shù)據(jù)的途徑有限。

Harriott 表示：“你可以擁有大量的非結(jié)構(gòu)化數(shù)據(jù)，但如果沒有有效的訓(xùn)練數(shù)據(jù)來創(chuàng)建和驗(yàn)證模型，進(jìn)度和質(zhì)量都會受到影響。利用 LLM 當(dāng)然可以在這方面有所幫助，但現(xiàn)有的 LLM 無法有效捕捉許多業(yè)務(wù)用例?！?/p>

此外，Harriott 指出：“在 LLM 中，訓(xùn)練數(shù)據(jù)仍可能存在偏差問題。Workhuman 有一個語言學(xué)團(tuán)隊(duì)，負(fù)責(zé)數(shù)據(jù)注釋、增強(qiáng)和驗(yàn)證，以解決其中的一些問題。我們還與大型跨國客戶合作，確保模型產(chǎn)生有意義和有用的結(jié)果?！?/p>

03 ｜將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為價(jià)值的技巧

Harriott、Konoval 和其他數(shù)據(jù)專家就如何確保在處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)取得成功提出了建議。

1. 將計(jì)劃與業(yè)務(wù)成果掛鉤。Harriott 認(rèn)為，IT 領(lǐng)導(dǎo)者應(yīng)確保利用非結(jié)構(gòu)化數(shù)據(jù)的計(jì)劃與業(yè)務(wù)需求緊密結(jié)合，并得到高管的支持。

Harriott 說：“通常情況下，一個團(tuán)隊(duì)可能對非結(jié)構(gòu)化數(shù)據(jù)有一個創(chuàng)造性的使用案例，但與關(guān)鍵業(yè)務(wù)成果之間的聯(lián)系對其他人來說并不明顯，因此可能會失去支持。領(lǐng)導(dǎo)者有責(zé)任讓組織了解使用案例為何重要，以及如何直接或間接地推動業(yè)務(wù)效益?！?/p>

2. 認(rèn)可過程。此外，數(shù)據(jù)領(lǐng)導(dǎo)者還應(yīng)該設(shè)定并慶祝計(jì)劃的里程碑，尤其是考慮到利用非結(jié)構(gòu)化數(shù)據(jù)創(chuàng)造價(jià)值的挑戰(zhàn)有多么困難。

Harriott 說：“讓非結(jié)構(gòu)化數(shù)據(jù)具有可操作性可能需要比業(yè)務(wù)預(yù)期更多的時(shí)間和精力。通過認(rèn)可里程碑，領(lǐng)導(dǎo)者可以讓其他利益相關(guān)者了解正在取得的進(jìn)展，還可以確保團(tuán)隊(duì)成員對他們?yōu)閷?shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)可操作性所付出的努力感到贊賞。”

3. 質(zhì)量是第一要務(wù)。成功的另一個關(guān)鍵是優(yōu)先考慮數(shù)據(jù)質(zhì)量。

Konoval 說：“垃圾進(jìn)，垃圾出'這句諺語再恰當(dāng)不過了。在不確保數(shù)據(jù)質(zhì)量的情況下進(jìn)行分析可能會適得其反。我們一直采取這種方法：清理數(shù)據(jù)，刪除不必要的內(nèi)容，確保數(shù)據(jù)符合質(zhì)量標(biāo)準(zhǔn)?！?/p>

Konoval 指出：“在游戲行業(yè)。錯誤的決策可能會導(dǎo)致昂貴的功能開發(fā)，而玩家可能不會產(chǎn)生共鳴，更有甚者，可能會出現(xiàn)有損我們聲譽(yù)的錯誤。我們嚴(yán)格的數(shù)據(jù)治理框架確保了我們分析的基礎(chǔ)堅(jiān)如磐石?！?/p>

4. 將可操作的數(shù)據(jù)與信息分開。優(yōu)先考慮業(yè)務(wù)用戶可以采取行動的數(shù)據(jù)也至關(guān)重要。主機(jī)托管和數(shù)據(jù)服務(wù)提供商 DataBank 首席運(yùn)營官 Joe Minarik 說：“重要的是數(shù)據(jù)量，以及能夠區(qū)分哪些是可操作的，哪些是信息性的。”

為了強(qiáng)調(diào)這一點(diǎn)的重要性，Minarik 以使用非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行系統(tǒng)監(jiān)控為例。他說：“必須對可操作的方面進(jìn)行優(yōu)先排序并快速處理。由于對系統(tǒng)的許多方面都進(jìn)行了監(jiān)控，因此一個問題就會從下游設(shè)備中產(chǎn)生警報(bào)和信息，導(dǎo)致警報(bào)、報(bào)警和信息過多，需要對這些信息進(jìn)行篩選，以確定真正需要解決的單一方面?！?/p>

5. 充分利用人工智能。繼續(xù)舉例說明，Minarik 指出了人工智能和機(jī)器學(xué)習(xí)在長期分析非結(jié)構(gòu)化數(shù)據(jù)流方面發(fā)揮的重要作用。他說：“它可以幫助你建立系統(tǒng)相關(guān)性。這可以讓你放棄噪音，立即找到根本問題?！?/p>

例如，企業(yè)可以部署命名實(shí)體識別（NER），這是自然語言處理（NLP）的一個組成部分，重點(diǎn)是識別非結(jié)構(gòu)化文本中的命名實(shí)體并對其進(jìn)行分類，標(biāo)記如“人”、“組織”或 “地點(diǎn)”。

Minarik 指出：“在實(shí)際應(yīng)用中，實(shí)體識別在眾多應(yīng)用中發(fā)揮著至關(guān)重要的作用。這些應(yīng)用包括索引和組織內(nèi)容的信息檢索系統(tǒng)、在文本中定位答案的問題解答系統(tǒng)，以及根據(jù)識別實(shí)體個性化內(nèi)容的內(nèi)容推薦引擎。通過識別命名實(shí)體并對其進(jìn)行分類，NER 使數(shù)據(jù)分析師和系統(tǒng)工程師能夠從收集到的大量數(shù)據(jù)中獲得有價(jià)值的見解。”

6. 通過可視化確保價(jià)值。Minarik 認(rèn)為，使非結(jié)構(gòu)化數(shù)據(jù)可用的過程并不止于分析。報(bào)告和結(jié)果交流是這一過程的高潮。

Minarik 說：“報(bào)告通常包括對主要發(fā)現(xiàn)、方法和分析意義的結(jié)構(gòu)化呈現(xiàn)。可視化，如圖表、圖形和儀表盤，有助于以易于理解的格式傳達(dá)復(fù)雜的數(shù)據(jù)?？梢暬谋憩F(xiàn)形式不僅有助于理解，還能讓利益相關(guān)者更容易識別趨勢、異常值和關(guān)鍵見解，確保及時(shí)做出數(shù)據(jù)驅(qū)動的決策?！?/p>

7. 邊做邊監(jiān)控。Minarik 說，另一個有時(shí)被忽視的關(guān)鍵做法是需要持續(xù)監(jiān)控和維護(hù)。他說：“現(xiàn)實(shí)生活中的數(shù)據(jù)是動態(tài)的，不斷變化的。持續(xù)監(jiān)控和維護(hù)是確保數(shù)據(jù)長期可用的關(guān)鍵?！?/p>

Minarik 表示，關(guān)鍵在于定期清理和執(zhí)行質(zhì)量檢查，以保持?jǐn)?shù)據(jù)的準(zhǔn)確性和可靠性。必須及時(shí)發(fā)現(xiàn)并糾正數(shù)據(jù)異常、不一致和重復(fù)，以防止分析出現(xiàn)偏差或錯誤。

8. 保持團(tuán)隊(duì)技能的敏銳性。最后，投資開發(fā)正確的技能是一種良好的做法--鑒于基礎(chǔ)工具的不斷發(fā)展，這項(xiàng)工作必須持續(xù)進(jìn)行。

Konoval 認(rèn)為：“數(shù)據(jù)分析的世界，尤其是圍繞非結(jié)構(gòu)化數(shù)據(jù)的分析，是動態(tài)的。最小的優(yōu)勢，比如一支熟練掌握最新圖像識別技術(shù)和分析概念圖的團(tuán)隊(duì)，就能決定一款游戲是成功還是失敗。我們已經(jīng)看到先進(jìn)技術(shù)的成果如何影響我們游戲的故事講述和設(shè)計(jì)，從而帶來積極的反饋并提高玩家的參與度?！?/p>

來源：www.cio.com