艾瑞咨詢：《2022年中國面向人工智能的數據治理行業研究報告》

數據：范圍界定

信息經濟的“貨幣”，早已不限于數字形式

數據的價值被不斷認可，“數據資產化”已經成為了企業發展的重要組成部分。長期以來，數據被理解為以數字形式存儲的信息，而目前技術可以測量更多的事件和活動，人們可以收集、存儲并分析這些不被視為傳統數據的各類信息，如郵件、圖片、音視頻等。數據可根據其特性及治理方法差異劃分為內部數據與外部數據，結構化數據、非結構化數據與半結構化數據，元數據與主數據等。

數據量：爆發式增長

基礎設施“擴容”、IoT 廣泛連接帶來的數據量暴漲

數據時代來臨，數據量的暴漲為企業數字化提供了基礎支撐，大量的業務數據能夠被采集、存儲并最終創造經濟效益。而很多企業在前期的信息化建設中，缺乏統籌規劃，為解決當下業務問題而按照垂直的、個性化的業務邏輯獨立采購與部署IT系統，導致企業內部形成多個數據孤島。數據不規范、不一致、難以互聯互通成為普遍問題，阻礙企業去充分發揮數據價值。這種先建設后治理的常態，使得數據治理越來越受到企業的普遍重視，另一方面，新興技術與應用場景的快速落地，也帶領數據治理需求在加速攀升。

數據治理：需求釋放

治理需求普遍存在，非結構化數據成為價值挖掘的重難點

企業歷經數字化轉型不同階段時，需通過數據治理解決數據在生產、管理和使用中的問題，而數據治理的需求與復雜度也會隨著企業數字化程度提升而增加。從企業內部的數據類型來看，非結構化數據占企業內數據總量的80%，卻僅占整體使用率的30%，長期以來其價值未得到充分有效利用。未來，隨著非結構化數據的積累增加與AI應用的數據需求推動，企業對非結構化數據的價值化需求將加速釋放，而多源異構數據基礎下的數據治理模塊也將獲得進一步的關注與優化。

數據治理：范圍界定

數據治理為實現企業數據應用服務的重要環節

數據治理以數據源匯入為伊始，對數據進行清洗加工，并在數據存儲、數據計算、數據服務應用等環節予以持續的治理服務，是企業實現數據服務與應用的重要環節。從數據層面來看，數據本身存在著從生產到消亡的生命周期，而數據治理會在數據生命周期的各階段通過相應工具與方法論進行規范與定義，在企業內部構建出切實有效的數據閉環，使數據發揮出更大的價值。

數據治理：體系架構

結合企業的特點及需求，設計符合企業要求的數據治理架構

雖然業界對數據治理的定義不盡相同，但涉及的數據架構模塊大體一致，核心包括數據標準管理、數據集成管理、元數據管理、主數據管理、數據資產管理、數據質量管理、數據模型管理、數據服務與數據安全管理模塊。依托于企業對數據治理的側重點不同，數據治理體系與架構也會根據企業所在的行業特點、經營性質及信息化程度的不同而有所差異。在實際設計時，一方面，企業可參考先進體系框架與行業最佳實踐，另一方面，企業也需從實際需求與發展需要出發，設計搭建適合自身情況的數據治理架構。

AI應用規模化

AI技術創新應用大規模落地，帶動大數據智能市場蓬勃發展

近年來，隨著新技術模型出現、各行業應用場景價值打磨與海量數據積累下的產品效果提升，人工智能應用已從消費、互聯網等泛C端領域，向制造、能源、電力等傳統行業輻射。各行業企業在設計、采購、生產、管理、營銷等經濟生產活動主要環節的人工智能技術與應用成熟度在不斷提升，加速人工智能在各環節的落地覆蓋，逐漸將其與主營業務相結合，以實現產業地位提高或經營效益優化，進一步擴大自身優勢。AI技術創新應用的大規模落地，帶動了大數據智能市場的蓬勃發展，同樣也為底層的數據治理服務注入了市場活力。

大數據智能市場的行業規模

2021年市場規模約為553億元，金融數據率先得到價值釋放

據艾瑞咨詢統計測算，2021年涵蓋大數據分析預測（機器學習/深度學習模型）、領域知識圖譜及NLP應用的大數據智能市場規模約為553億元，預計2026年市場規模將達到1456億元，2021-2026CAGR=21.3%。隨著市場大數據基礎的完善與數據需求的喚醒推動，大數據智能市場的規模將持續走高，但未來在行業理性建設與增量市場逐步完善的大背景下，大數據智能市場增速會出現下降趨勢。從細分結構來看中，金融領域的數據價值率先得到釋放，市場規模占比高達32%。

大數據智能市場的投融資熱度

融資規模穩步提升，事件數量創歷史新高

從2011-2021年的投資數量來看，資本市場對大數據智能市場的關注度不斷提高，融資事件逐年攀升，2021年大數據智能市場單年投融資數量已高達99起；從2011-2021年的融資輪次來看，C輪及早期投融資事件占比達到50%。受政策的高度支持與技術的成熟推動，大數據智能應用在多行業的成功落地極大地增強了市場與投資者的信心，“大數據智能”標簽已成為市場創業與投資的熱點，具備市場想象空間與明確使用價值是企業早期吸引投資的關鍵。

大數據智能產業生態圈

面向人工智能的數據治理：需求傳導

人工智能應用引發的數據治理需求

企業在部署AI應用時，數據資源的優劣極大程度決定了AI應用的落地效果。因此，為推進AI應用的高質量落地，開展針對性的數據治理工作為首要且必要的環節。而對于企業本身已搭建的傳統數據治理體系，目前多停留在對于結構性數據的治理優化，在數據質量、數據字段豐富度、數據分布和數據實時性等維度尚難滿足AI應用對數據的高質量要求。為保證AI應用的高質效落地，企業仍需進行面向人工智能應用的二次數據治理工作。

面向人工智能的數據治理：反復治理

面對反復的治理工作，搭建針對性體系解決重復性環節

數據治理在人工智能項目的實施中花費90%以上的精力，而面對企業的各人工智能項目，在AI數據層面多存在反復治理工作，極大拉低了AI應用的規模化落地效率。借助有效的方法論和實用的工具提高數據治理的效率，是企業管理數據資產與實現AI規模化應用的重要課題。搭建面向人工智能的數據治理體系，可將面向AI應用的數據治理環節流程化、標準化和體系化，降低數據反復準備、特征篩選、模型調優迭代的成本，縮短AI模型的開發構建全流程周期，最終顯著提升AI應用的規模化落地效率。

面向人工智能的數據治理：體系搭建

吸收傳統體系智慧沉淀，以AI應用數據需求為核心優化建設

面向人工智能的數據治理是傳統數據治理體系在以AI應用落地為導向下的體系“升級”。從數據管理維度來看，面向人工智能的數據治理體系仍會根據數據結構化流向、數據資產管理需要、數據安全需求等角度順應搭建元數據管理、數據資產管理、主數據管理、數據生命周期管理和數據安全隱私管理等組件模塊。而在數據治理過程中，則會更強調底層實現多源數據融合、數據采集頻率、數據標準建立、數據質量管理，滿足AI模型所需數據的規模、質量和時效，以AI應用的數據需求為核心，優化對應模塊的體系建設。

面向人工智能的數據治理：數據準備

基于AI模型需求明確數據的特征準備、實時與否和閉環流通

從搭建流程來看，AI模型可大致分為離線訓練和上線推理兩個階段。離線訓練時，需基于AI模型運行目的確認數據采集來源，選擇數據對應的時間間隔和時間節點，讓AI能夠在離線建模及上線運行后獲取真實業務數據，模型訓練效果能夠保質保量落地。如果模型需要AI數據的實時接入，還需打造批流一體式的產品體系。基于實時數據處理、實時特征開發和實時應用開發等數據架構搭建批流一體的數據產品，將流式數據的接入實時反饋到模型運行輸出，使模型結果更加及時準確。另外，AI模型上線后，需達到AI數據的閉環流通，通過打造數據采集和回饋分析的閉環式自學習體系，達到AI模型上線后的持續迭代優化。

面向人工智能的數據治理：數據質量

對應AI應用的高質量要求，喚醒沉睡數據，挖掘核心價值

多源異構數據的質量管理體系可從數據有效性、數據一致性、數據唯一性、數據時序性、數據完備性、數據完整性、數據合理性和數據準確性六個維度建立。其中，傳統數據治理體系同樣會高度關注數據的有效性、一致性和唯一性，但當數據治理范圍擴大到多源異構數據時，需在數據融合過程中對這三個維度進行重新判斷。數據時序性是對數據時間維度的質量要求，考慮數據接入的實時性和如何選擇數據的時間間隔；數據完備性要求數據需符合多維度字段特征以滿足建模，數據完整性則對數據從歷史到上線反饋的完整性接入以達到優質閉環；數據合理性和數據準確性則是對數據本身表達的更高質量要求。傳統數據治理體系為做數據可視化和數據基本分析應用服務時，不會過多考慮到數據分布是否合理及表達內容是否準確等問題。然而在AI模型開發訓練時，數據的合理分布和準確表達極大程度上決定了AI模型的分析決策效果，因此在面向人工智能的數據治理體系中，數據合理性和數據準確性的質量評估是體系需重點關注提升的維度模塊。

面向人工智能的數據治理：數據標準

為AI模型開發提供“一致的數據語言”，實現數據復用共享

數據標準是數據治理工作的開展基礎，為AI模型開發及應用提供“一致的數據語言”。在面向人工智能的數據治理體系中，數據標準的建立仍是數據實現共享流通、價值挖掘的核心環節。企業根據對應的國家標準、行業標準、地方標準等規范，結合自身情況和業務術語參考，以AI應用需求圈定的數據范圍為治理導向，構建相關基礎數據標準、指標數據標準和數據模型標準，形成全局統一的數據定義與價值體系。

面向人工智能的數據治理：特征管理

將多源異構數據源轉化為機器可理解的“結構化數據”

在圈定AI數據源范圍并接入相應數據后，特征管理中臺會對數據進行預處理，基于AI應用的數據要求處理缺失值、異常值、重復值和數據格式等問題，而后經過特征工程轉化為人工智能模型可理解的結構化數據。在特征化工程環節中，面向人工智能的數據治理體系可濃縮沉淀業務場景中的數據治理和模型開發經驗，對AI數據形式進行標準定義，搭建特征管理中臺，將特征工程環節標準化、自動化、智能化，快速對接得到可被機器理解的優質結構化數據，投喂給AI模型。

面向人工智能的數據治理：效果優化

顯著提升AI應用的規模化落地效果

數智融合產業帶來多元廠商參與

數據治理與AI應用開展交匯融合，廠商參與更加豐富多元

依托于數據與AI模型的緊密關聯，數據治理與AI應用產品已逐步開展交匯融合，展現“由數據治理到開發AI應用平臺/產品”與“AI應用平臺/產品開發到面向AI的數據治理”的兩路發展方向：1）數據治理廠商在積累數據經驗與AI模型理解后，為實現業務拓展而將領域從數據層延伸至AI應用及平臺開發層；2）從事AI應用及平臺開發的AI廠商，也會在數據治理經驗不斷豐富的背景下，著手向底層開展面向AI的數據治理業務，依托于自身AI技術與業務理解，讓面向AI的數據源更加契合AI應用模型要求以提升模型擬合效果。因此，面向AI的數據治理從業者不僅僅為數據治理廠商，更包括眾多AI企業，參與者更加豐富多元。

數智產業生態圈的受益節奏

三方陣營廠商構建行業競合格局

AI應用的加速落地帶來的大量數據治理需求，吸引眾多廠商參與其中。從行業廠商類型來看，主要包括咨詢公司、數據服務相關提供商和人工智能產品提供商三類。各類廠商根據自身業務特點和切入方式獲得差異化的競爭優勢，而由于面向人工智能的數據治理服務的參與立足點豐富，廠商之間可能基于同類業務展開競爭，同時在差異化領域進行合作，形成競爭與合作高度共存的行業格局。

數智產業生態圈的參與立足點

“智”為面向人工智能的數據治理服務的核心立足點

面向人工智能的數據治理服務常包含于數據服務、平臺能力和數據產品三類采購形式中。第一類，數據服務即以單獨的數據治理產品形式出現；第二類，數據平臺，主要包括大數據平臺、數據中臺、數據倉庫和AI能力平臺等項目；第三類，數據產品，范圍限定在應用AI算法的數據產品，可劃分為機器學習產品、自然語言理解產品和知識圖譜三類AI產品。為保證AI算法模型的優質運行效果，更好地提供預測、決策、推薦和風控等產品功能，需要對算法模型的訓練原料，即支持AI應用的底層數據，進行針對性優化治理。如今AI產品需求旺盛，AI開發平臺陸續推進AI產品的規模化落地，且AI數據治理效果與最終平臺產品交付效果緊密相連，AI應用驅動成為面向人工智能的數據治理服務的核心立足點。

面向人工智能的數據治理：市場規模

2021年市場規模約為40億元，預計五年后規模突破百億

2021年中國面向人工智能的數據治理市場規模約為40億元。受數據平臺服務、數據治理服務和AI應用建設的需求推動影響，面向人工智能的數據治理市場規模將持續上升，2026年突破百億，達105億元，2021-2026CAGR=21.3%。2021年，中國數據治理市場規模約為121億元。作為數據服務的基礎工作，中國數據治理市場規模將保持上揚態勢，預計2026年市場規模達到294億元，2021-2026CAGR=19.5%。從發展曲線來看，中國數據治理與面向人工智能的數據治理市場規模增長均處于良性區間，共同鞏固相關治理產業生態圈的向好形勢。

面向人工智能的數據治理：時機路徑

契合客戶的數據基礎和AI應用需求的多元化選擇

從數據基礎的維度劃分，可將企業分為數據原生企業與非數據原生企業。數據原生企業往往不需要信息化、數字化轉型，所要做的即為讓數據共享流通的規范式管理。非數據原生企業天然缺乏以軟件和數據平臺為核心的數字世界入口，往往要進行企業的數字化轉型，需通過數字化轉型程度與數據治理階段判斷非數據原生企業的數據基礎優劣。面對不同企業類型，可結合企業數據基礎與AI應用需求，為面向人工智能的數據治理的體系搭建提供契合路徑，完成企業數據體系的進一步升級。

數據埋點的大而全陷阱

抓大放小，從核心數據著手

數據埋點是指針對特定用戶行為或事件進行捕獲，處理和發送的相關技術及其實施過程，是數據治理中范圍圈定的一環。出于對投資回報的考慮，客戶往往傾向于做一個覆蓋全業務和技術域的、大而全的數據治理項目，將每個數據都納入到數據治理的范圍中，這就導致進行數據埋點時放縱提需，埋點需求爆炸，給后續的數據治理和數據分析帶來隱患。為避免數據埋點的大而全陷阱，企業應該做到抓大放小，謹記2/8原則——80%的問題產生于20%的系統和數據——從最核心的系統、最重要的數據、最容易產生問題的地方開始著手做數據治理。

數據治理體系的流轉運營

溝通、組織、聚焦、文化

為能充分發揮數據治理的價值、避免一次性數據治理，供需兩側要齊心協力，共同、持續、優質地運營數據治理體系。數據治理是系統性工程，是由上至下指導，由下而上推進的體系工作。因此，供給側企業與需求側廠商，在體系運營和建設方面需形成共識，具備明確的目標、合理的組織、嚴格的監管、完善的系統，這樣才能使數據治理工作得到保障，達到體系的流轉運營。

關注數據治理中的安全合規性

完善數據安全治理框架，確保數據安全合規

數據泄露事件在大數據時代層出不窮，隨著行業新網絡形態、新技術以及新應用場景的發展，新的數據類型、數據生產方式、數據處理方式和終端形式不斷涌現，數據安全挑戰也隨之加劇。國家已出臺各級各行業的法律法規及配套文件，不斷加大數據安全與隱私保護的監管力度。對此，企業需建立符合企業管理現狀及發展需求的數據安全治理框架，數據在采集、存儲、傳輸、處理上均有對應的執行管理依據，做到挖掘數據資產、發揮數據價值的同時，確保數據全周期的安全與合規。

聯邦學習帶來數據治理升華

治理升華，數據安全合規線內的共同富裕

在數據治理及準備過程中，企業一方面需要盡可能全面的獲取數據以擴充訓練樣本規模，另一方面出于隱私與安全的相關要求不能隨意收集、融合和使用數據進行AI處理。為解決以上難題，聯邦學習技術應運而生。聯邦學習的建模原理為基于分布在多個設備上的數據集構建機器學習模型，通過安全多方計算、差別隱私、同態加密等技術為模型提供隱私保證以防數據泄露。因此，聯邦學習可有效打通企業間的數據孤島，并將數據可用而不可見，在滿足數據安全合規的基礎上，通過連通協同發揮出數據的更高價值。目前，聯邦學習技術已成為大數據智能廠商的核心開拓方向，率先在金融、醫療和政務等領域展開應用。

數據的“自治與自我進化”

將數據治理流程化、自動化、智能化

數據規模的指數級增長給數據治理工作帶來巨大壓力，傳統人工方式做數據的清洗、分辨與調優使治理工作耗時冗長，帶來高昂的人力成本，且愈發難以滿足智能應用對數據在規模量與質量的高要求，傳統的人工數據治理工作已變得捉襟見肘。如今，人工智能和RPA等技術手段已被逐漸應用于數據治理的模型管理、質量管理、資產管理、元數據管理等模塊，最終實現數據系統的“自治與自我進化”。總體來看，前沿技術手段應用可以讓數據治理工作趨于流程化、自動化與智能化，同時讓數據變得可擴展、更負責可溯、更可信，已然成為未來數據管理發展的必由之路。

打造“治理+AI”體系的良性循環

相互關聯，互為依托，共同促進人工智能應用的內外發展

面向人工智能的數據治理充分利用機器學習技術，將數據治理環節自動化、智能化，可極大提升數據治理工作效率，同時基于自然語言理解和知識圖譜挖掘關聯非結構化數據的應用價值，解決數據質量管理的傳統難題，使治理后的數據更加契合AI應用的要求，從效率和質量雙側推進AI模型的落地應用。同時，AI應用落地效果的顯著優化也會給企業帶來更多智能化轉型信心，讓其加大相關AI項目的預算投入，進一步推進了相關治理體系建設，打造“治理+AI”的良性循環。