基于人工智能的以數(shù)據(jù)為中心的數(shù)據(jù)架構方法
本文簡要探討了如何在人工智能賦能下構建企業(yè)數(shù)據(jù)。文章強調了以整體視角看待人類思維和數(shù)據(jù)集成的重要性,并基于眾多實際企業(yè)解決方案,提出了一些簡單的關鍵領域考量。
即使您并非數(shù)據(jù)解決方案架構師,您仍然需要參與一個或多個架構領域,以構建集成數(shù)據(jù)架構。如果沒有良好的數(shù)據(jù)架構,您的數(shù)據(jù)部分就不太可能滿足服務級別的特性,例如數(shù)據(jù)互操作性、可擴展性或數(shù)據(jù)管理。
目錄
企業(yè)數(shù)據(jù)解決方案的范圍
數(shù)據(jù)架構中缺失的環(huán)節(jié)
敏捷 ESA 模型:與數(shù)據(jù)架構交織的關鍵領域
敏捷 ESA 模型:關鍵利益相關者群體
敏捷 ESA 模型:以數(shù)據(jù)為中心的關聯(lián)流
利用人工智能輔助的、基于 IT 服務的建模方法
小結
一、企業(yè)數(shù)據(jù)解決方案的范圍
本文重點探討企業(yè)數(shù)據(jù)架構(以下簡稱數(shù)據(jù)架構),它是企業(yè)解決方案架構 (ESA)的重點考量,它連接企業(yè)架構和解決方案架構,協(xié)調各種戰(zhàn)略方向和能力。與企業(yè)架構、軟件架構、云架構等相比,企業(yè)數(shù)據(jù)架構的討論通常較少,其作用也千差萬別。企業(yè)數(shù)據(jù)架構的整體視圖通常缺失或不夠清晰。
隨著人工智能的快速發(fā)展,我們可以從大量多維復雜數(shù)據(jù)中獲得更快、更好的洞察。然而,如果沒有清晰的 ESA 指導,人工智能將無法創(chuàng)建有意義的數(shù)據(jù)架構。單獨的企業(yè)架構和解決方案架構都無法提供這樣的指導。ESA 設置了正確的架構抽象級別,使企業(yè)業(yè)務與 IT 保持一致,以實現(xiàn)可實現(xiàn)的架構。在來自主要利益相關者群體的適當架構指導下,ESA 使人工智能能夠更好地理解企業(yè)系統(tǒng)背后的原理以及預期的運行方式。這種由人工智能輔助而非 LLM 驅動的 ESA 模型對于大多數(shù)企業(yè)解決方案來說是現(xiàn)實可行的。
ESA 是一種整體架構思維過程,通常用于敏捷方法,因此它幾乎是敏捷 ESA(A-ESA)的同義詞。它利用 AI 的力量在其建??蚣軆群喕瘡碗s的 IT 架構。
二、數(shù)據(jù)架構中缺失的環(huán)節(jié)
在深入探討數(shù)據(jù)架構的集成模型之前,我們先快速回顧一下項目解決方案中的一些常見觀察。在許多情況下,數(shù)據(jù)架構僅關注企業(yè)解決方案的一部分,例如:
在企業(yè)架構中,數(shù)據(jù)架構充當藍圖、規(guī)劃工具和基礎架構構建塊。
在業(yè)務層面,數(shù)據(jù)架構是為了滿足業(yè)務需求并實現(xiàn)業(yè)務敏捷性。業(yè)務人員往往主要從業(yè)務能力甚至組織結構的角度來理解數(shù)據(jù)架構。
許多人從技術角度來理解數(shù)據(jù)架構,重點關注數(shù)據(jù)倉庫、數(shù)據(jù)結構、數(shù)據(jù)湖和數(shù)據(jù)網格等框架,以及 Apache Flink 和 Kafka 等中間件。因此,數(shù)據(jù)架構通常是技術解決方案(技術平臺或大數(shù)據(jù)流程)、軟件工程和數(shù)據(jù)管理的一部分。
小公司的資料架構師通常期望擁有從編程到網絡協(xié)議的廣泛技能,但解決方案可能不是大規(guī)?;驈碗s的。
人們常常忽略的是從企業(yè)解決方案架構角度構建的相互關聯(lián)的流程,而這些流程能夠解決整個企業(yè)的關鍵業(yè)務、用戶和系統(tǒng)問題。許多組織已經將重點放在業(yè)務架構、軟件架構和基礎設施/平臺架構上,但仍然缺乏可行的企業(yè)數(shù)據(jù)架構,這通常是由于缺乏整體的遠見、相關角色或人才,或缺乏認知。
三、敏捷 ESA 模型:與數(shù)據(jù)架構交織的關鍵領域
構建簡化復雜性的可視化數(shù)據(jù)架構模型。
那么,數(shù)據(jù)架構與企業(yè)解決方案架構在整體上是如何關聯(lián)的呢?根據(jù)實踐經驗,下圖表明數(shù)據(jù)架構與五個關鍵領域緊密相關。
圖:企業(yè)解決方案架構的關鍵領域
這一劃分為架構關注的關鍵領域以及 AI 輔助構建既能滿足解決方案需求又能滿足未來變化的整體模型提供了明確的指導?,F(xiàn)在,讓我們簡要討論一下人類和人工智能所關注的各個領域。
1. 企業(yè)能力
人類對架構的關注點:反映戰(zhàn)略方向和數(shù)據(jù)策略(與其文化和環(huán)境相關)的高級信息和能力,以及這些信息和能力如何映射到關鍵 IT 服務,尤其是數(shù)據(jù)服務。
用例問題示例:哪些關鍵原則與業(yè)務和數(shù)據(jù)架構相符?與價值流和IT服務相關的功能有哪些?
人工智能探索示例:組織復雜性
2.案例場景
人類對架構的關注點:服務級別要求 (SLR) 涵蓋數(shù)據(jù)動態(tài)性、事務限制、可用性和合規(guī)性。
示例用例問題:社交技術參與系統(tǒng)的數(shù)據(jù)類型有哪些?典型的用戶交互有哪些(例如數(shù)據(jù)訪問頻率和并發(fā)性)?
人工智能探索示例:意圖復雜性
3. 解決方案背景
人類對架構的關注點:架構集成和治理、深厚的 ESA 專業(yè)知識或企業(yè)解決方案環(huán)境中良好協(xié)作的團隊合作。
示例用例問題:哪種架構風格更適合企業(yè)環(huán)境的數(shù)據(jù)使用和交易模式?如何通過執(zhí)行特定的治理功能來確定數(shù)據(jù)治理(包括數(shù)據(jù)完整性、數(shù)據(jù)質量等)的優(yōu)先級并實施?
人工智能探索示例:集成復雜性
4.功能服務
人類對架構的關注點:以數(shù)據(jù)服務為中心的應用程序的粒度、內聚性、耦合性和自包含性。
示例用例問題:在設計數(shù)據(jù)服務時,在可用性、一致性和分區(qū)容錯性方面做出了哪些權衡決策?如何實現(xiàn)數(shù)據(jù)服務間的通信或避免通信問題?
人工智能探索示例:交易復雜性
5. 運行環(huán)境
人類對架構的關注點:數(shù)據(jù)服務部署單元(基于服務級別質量屬性)需要從軟件分發(fā)和系統(tǒng)工程(內部部署或云環(huán)境)仔細考慮。
示例用例問題:數(shù)據(jù)服務和部署單元之間是否存在明確的映射,以滿足關鍵質量屬性要求,同時適應業(yè)務增長?在可用性、性能和安全性方面,數(shù)據(jù)熱點是什么?
人工智能探索示例:可擴展性復雜性
并非所有企業(yè)解決方案都對這五個方面給予同等重視,但幾乎每個企業(yè)系統(tǒng)都從這五個方面進行架構考量。即使您不構建自己的平臺,如果您擔心變更成本,也需要開發(fā)一個可視化數(shù)據(jù)架構模型,以簡化復雜性并展示您的企業(yè)解決方案的架構方式。
通過最初定義從業(yè)務到 IT 的整體企業(yè)解決方案的關鍵領域,人類引導人工智能構建數(shù)據(jù)配置文件,最終以正確的方式形成正確的模型。
提示:這五個領域可能存在差異。例如,如果特定人員負責執(zhí)行測試、驗證或治理測量,則驗證可能是一個單獨的領域。在考慮真正的 DevOps 環(huán)境時,我們可以將功能部署領域和運營部署領域合并為一個解決方案系統(tǒng)領域。ESA 倡導敏捷且分階段的方法,因此可以進行細微調整以適應解決方案環(huán)境。
四、敏捷 ESA 模型:利益相關者的關鍵群體
通過關鍵利益相關者的觀點對企業(yè)解決方案達成共識。
關鍵領域模型反映了一種可行的數(shù)據(jù)架構,該架構考慮了企業(yè)解決方案的關鍵方面,包括企業(yè)需求、關鍵的解決方案關注點以及重要的解決方案設計。關鍵領域通過各領域利益相關者的協(xié)作相互關聯(lián)。
下圖顯示了每個領域所負責的典型利益相關者群體和關注點。例如,企業(yè)能力是組織和業(yè)務領導者更關注的問題。這五個利益相關者群體對于可行的企業(yè)解決方案而言不可或缺,代表了解決方案管理視角下的典型分工。每個人都擁有獨特的視角和技能。在大型企業(yè)環(huán)境中,任何個人(如果有的話)都不太可能在所有五個領域擁有完整的專業(yè)知識和權威。
圖:ESA 中的典型利益相關者群體
企業(yè)數(shù)據(jù)架構師或企業(yè)解決方案架構師在其中扮演著重要的角色,他們負責協(xié)調和關聯(lián)不同領域,以實現(xiàn)架構一致性,并最大限度地降低變更的長期成本。該角色通常由“設計權威”(由首席技術官、經驗豐富的數(shù)據(jù)架構師或組織敏捷的團隊領導)領導,以處理不同利益相關者群體之間潛在的沖突和分歧。高層管理人員的支持對于克服企業(yè)數(shù)據(jù)架構師可能面臨的挑戰(zhàn)至關重要。
許多數(shù)據(jù)專業(yè)人員在其職業(yè)生涯或參與大型企業(yè)解決方案項目時都身兼數(shù)職,他們的跨領域專業(yè)知識對于塑造企業(yè)數(shù)據(jù)架構至關重要。下表顯示了從數(shù)據(jù)專業(yè)人員的角度來看,這五個領域分別代表著不同的重點。
數(shù)據(jù)專業(yè)人員的角色和關注點
對于人工智能輔助系統(tǒng),數(shù)據(jù)架構師尤其需要開發(fā)和完善一套超越傳統(tǒng)數(shù)據(jù)管理的新技能。這些關鍵技能包括:高級分析(包括預測建模和關聯(lián)分析)、深度學習(構建能夠從數(shù)據(jù)中學習的復雜解決方案模型)、大規(guī)模數(shù)據(jù)工程、人工智能偏見緩解、人工智能集成以及智能領域規(guī)范。
簡而言之,沒有人能夠完全掌控企業(yè)解決方案架構或企業(yè)數(shù)據(jù)架構。通過初始 ESA 研討會和迭代反饋循環(huán),建立共同目標和一套通用符號,ESA 模型在連接各個環(huán)節(jié)、映射不同語言以達成共識方面發(fā)揮著關鍵作用。
人工智能擅長扮演通用角色或虛擬助手角色,不知疲倦地、反復地幫助詳細說明、分類、抽象、強調和比較每個關鍵群體中的關注點。
提示:實際上,許多組織都缺少 ESA 角色,解決方案架構師的職責僅限于提供解決方案,缺乏完整的企業(yè)視角,或者他們的企業(yè)架構與解決方案架構脫節(jié)。因此,如果沒有可實施的企業(yè)架構或企業(yè)解決方案架構,就更容易出現(xiàn)架構債務。
五、敏捷 ESA 模型:以數(shù)據(jù)為中心的關聯(lián)流
域之間的映射是ESA最有價值的部分。
下圖說明可行的企業(yè)解決方案架構涵蓋企業(yè)方向和解決方案架構,以數(shù)據(jù)中心映射方法清晰地呈現(xiàn)關聯(lián)流視圖。
圖:以數(shù)據(jù)中心為中心的架構映射
這些領域之間的關聯(lián)流程比每個領域各自的關注點更重要。例如,業(yè)務人員主要關注業(yè)務組件模型和信息價值,而不是數(shù)據(jù)在企業(yè)系統(tǒng)中的設計和操作方式。因此,這些流程成為集成數(shù)據(jù)架構的主要關注點。這些流程共同反映了用戶與系統(tǒng)、業(yè)務與系統(tǒng)以及系統(tǒng)之間的交互。
對于每個領域,信息或數(shù)據(jù)流反映在以下示例中:
企業(yè)能力示例:價值流和能力與 IT 服務的映射,重點關注數(shù)據(jù)服務。
案例場景示例:需求映射,根據(jù)數(shù)據(jù)源(來自用戶輸入和系統(tǒng)輸出)識別數(shù)據(jù) SLR。
功能服務示例:解決方案上下文映射,問題空間以數(shù)據(jù)服務為中心 (超越數(shù)據(jù)對象或組件級建模),反映了架構良好的服務組合。
操作環(huán)境示例:部署包映射到 功能服務,重點關注數(shù)據(jù)服務,因為它們通常具有跨切關注點。
解決方案上下文示例:來自度量、架構模式、集成風格和解決方案概述(典型的企業(yè)解決方案演練)的信息流的集成映射。
數(shù)據(jù)架構決策只有考慮以下因素才會有效:
數(shù)據(jù)服務是每個信息流的關鍵映射元素。例如,企業(yè)能力的信息流包含通過價值流分析實現(xiàn)數(shù)據(jù)能力與數(shù)據(jù)服務的映射,并通過客戶旅程等與單車司機(SLR)的案例場景關聯(lián)起來。
數(shù)據(jù)服務必須與其相關的功能服務或包裝器一起考慮,包括技術服務(通常稱為應用程序邏輯服務)以及可能的 UI 服務。
在實踐中,這些流程是通過敏捷方法逐步構建的。當各領域的決策者以數(shù)據(jù)為中心的方法就信息流達成一致時,ESA 模型便開始成形。
對于數(shù)據(jù)關聯(lián)流,人工智能負責繁瑣且容易出錯的工作,而人類在確定流程映射的結構、關聯(lián)和引導方式方面發(fā)揮著關鍵作用。
提示:在敏捷 ESA 模型中,數(shù)據(jù)服務更多地基于 IT 服務或軟件,提供對數(shù)據(jù)的訪問和操作。它支持業(yè)務流程和功能,并解決以下問題:1) 與企業(yè)能力相關的案例場景需求映射;2) 給定數(shù)據(jù)服務的真實來源;3) 復合數(shù)據(jù)服務的通信和集成方法;以及 4) 由不同的敏捷 ESA 元素(例如通用服務、視圖框架等)表示的數(shù)據(jù)服務的抽象級別。順便說一句,數(shù)據(jù)服務將作為單獨的主題進行闡述。
六、利用人工智能輔助、基于 IT 服務的建模方法
ESA 是人工智能輔助的,而不是人工智能驅動的。
人工智能輔助敏捷 ESA 建模方法可通過以下用例普遍采用:
利用人工智能提示收集架構信息并澄清建模問題 [建模]
基于初始人工設計或逆向工程工作,使用定制的人工智能代理進行架構推理和分析[建模]
將建模工具與人工智能(例如人工智能圖表生成器或經過訓練的圖神經網絡 (GNN))相結合,以促進建筑模型渲染 [建模]
將人工智能功能融入企業(yè)解決方案架構[架構]
構建人工智能解決方案(或以人工智能為中心的框架、企業(yè)應用程序等)[架構]
這些用例中的任何一個,或者它們的組合,都適用于敏捷 ESA 建模。在這里,我們簡要討論一下從建模和架構角度提供的 AI 輔助,這兩者都將算法推理和繁瑣的工作轉移到 AI 代理或中間件上。
借助人工智能進行建模
人工智能的普及為許多企業(yè)解決方案賦予了強大的分析能力,涵蓋企業(yè)方向和業(yè)務洞察、案例場景模擬和分析、軟件建模和開發(fā)、架構模式識別、指標規(guī)范、預測分析以及比較權衡輔助等??偠灾斯ぶ悄芡ㄟ^智能元數(shù)據(jù)管理和動態(tài)數(shù)據(jù)關聯(lián),使復雜的數(shù)據(jù)結構和關系更加易于理解。
然而,人工智能可能會產生數(shù)據(jù)偏差。人工智能目前無法,將來也無法完全在上述五個領域之間映射信息,因為它們是獨立的實體,各自解決企業(yè)解決方案領域中的一組特定問題。將它們混雜在一起會使企業(yè)解決方案變得復雜,并使每組利益相關者都無法獲得清晰的架構圖。即使與人工智能協(xié)同工作,這些領域仍然需要人類的投入、專業(yè)知識和推理能力,才能做出明智的架構決策。畢竟,正是人類從多個維度決定了企業(yè)系統(tǒng)的運作方式。
敏捷 ESA 建模在人類思維與人工智能之間尋求平衡,利用 AI 輔助進行詳細分析和洞察,從而創(chuàng)建數(shù)據(jù)相關映射和適配級別的數(shù)據(jù)服務。Agile ESA 還利用 AI 驅動的重構工作,或指導 AI 驅動的治理功能與更詳細的解決方案系統(tǒng)設計相連接。需要注意的是,Agile ESA 元素(將在單獨的主題中詳細闡述)可以基于 AI 分析,使用一組最少的架構符號來具體化數(shù)據(jù)架構。
利用人工智能功能進行架構設計
當今的企業(yè)解決方案架構涵蓋眾多 AI 功能,包括工具、API、中間件、代理等。支持 AI 的解決方案架構可實現(xiàn)選擇性流程自動化、強化數(shù)據(jù)治理、更佳的互操作性、系統(tǒng)透明度、運營平臺彈性、AIOps 等等。這些功能涵蓋 ESA 的所有關鍵領域。
在企業(yè)解決方案環(huán)境中,AI 能力不僅包括創(chuàng)新型、AI 融合型或代理型應用程序和 RAG(檢索增強生成),還包括 AI 集成能力。遵循標準集成協(xié)議至關重要,例如模型上下文協(xié)議 (MCP),這是一個用于集成 AI 模型和外部數(shù)據(jù)源的開放標準,能夠實現(xiàn)跨不同系統(tǒng)的互操作性,就像 AI 應用程序的 USB-C 端口一樣。請記?。篈I 的有效性取決于可行的集成數(shù)據(jù)架構。
數(shù)據(jù)與人工智能如同探戈般協(xié)同。數(shù)據(jù)驅動人工智能,人工智能則從數(shù)據(jù)中提供洞察。企業(yè)業(yè)務需要的既不是帶有偏見和粒度不合適的數(shù)據(jù)架構觀點,也不是碎片化的洞察。細致的框架采用和技術棧選擇應始終以清晰的數(shù)據(jù)架構模型為指導,并結合人工智能輔助的可行性評估和架構決策分析。人工智能驅動的企業(yè)數(shù)據(jù)架構仍是一個遙不可及的愿望。即使看似如此,人工智能仍然在企業(yè)數(shù)據(jù)架構中扮演著重要的角色。
需要注意的是,許多 AI 用戶、應用程序開發(fā)者和其他人員更注重應用,只關注 AI 企業(yè)解決方案的一部分。然而,對于認真對待 AI 平臺或企業(yè)環(huán)境的企業(yè)領導者、數(shù)據(jù)架構師或解決方案架構師來說,整體建模方法是必不可少的。
提示——敏捷企業(yè)架構 (Agile ESA) 中的人工智能輔助整體方法必須以簡潔性和重要性為基礎,并融合人工智能和人類智能。例如,企業(yè)能力空間應簡潔直觀地反映符合特定企業(yè)環(huán)境的 IT 戰(zhàn)略方向的本質。復雜或成熟的模型看似優(yōu)雅,卻會使架構思考變得困難,最終達不到預期目的。
七、小結
如果沒有清晰的宏觀數(shù)據(jù)架構,您就會產生未來的債務。
傳統(tǒng)的企業(yè)架構建模復雜且實用性較差。它更有可能被人工智能取代,就像設計級建模一樣。ESA 代表了一種易于人類理解的架構,同時在后臺利用了 AI 輔助的企業(yè)解決方案的復雜關聯(lián)。在可預見的未來,AI 永遠無法取代 ESA,這也是一門權衡利弊的藝術。
數(shù)據(jù)架構對于企業(yè)解決方案架構至關重要,必須擁有一個集成模型來支持業(yè)務目標并適應不斷變化的需求。在敏捷企業(yè)解決方案架構 (ESA) 中,信息架構、數(shù)據(jù)架構和解決方案架構之間的區(qū)別變得模糊。一種整體而簡單的方法,將數(shù)據(jù)架構與業(yè)務功能、案例場景、解決方案上下文、功能架構和運營環(huán)境以及解決方案管理支持和治理技術相集成,可確保企業(yè)解決方案的成功。
提示:在對遺留企業(yè)進行服務化現(xiàn)代化之前,必須建立清晰的敏捷 ESA 模型,并使用最小可行遷移方法。急于追求一時興起的架構風格,很可能會失敗。
Agile ESA 不僅僅是一份企業(yè)架構規(guī)劃、一份治理文檔或一個以技術為中心的解決方案架構,它通過考量端到端的重要案例,成為一種可實現(xiàn)的架構,或是對現(xiàn)實企業(yè)解決方案中架構思維的證明。在 AI 賦能下,通過 Agile ESA 建模構建的集成數(shù)據(jù)架構有效地連接了業(yè)務目標和技術執(zhí)行,從而提高了架構的可觀察性,降低了架構債務的可能性,并降低了變更成本。