5月6日，由國家金融與發(fā)展實(shí)驗室金融科技研究中心學(xué)術(shù)指導，北京立言金融與發(fā)展研究院、神州控股、神州信息、神州數碼集團共同主辦的2023數云原力大會(huì )“數據資產(chǎn)•金融核心競爭力”主題論壇在京盛大舉辦。作為全球金融科技大會(huì )系列論壇之一，本次活動(dòng)大咖云集，DAMA主席汪廣盛分享了《2023數據管理十大新趨勢》，為數據管理發(fā)展帶來(lái)新的的思考與啟發(fā)。
趨勢一：數據項目和數據團隊的價(jià)值需要自身來(lái)證明
數據管理和數字化轉型的工作已經(jīng)開(kāi)展多年，然而失敗的比例很高，部分完成了的項目效果也不是很明顯。數據和數據團隊的價(jià)值到底如何來(lái)實(shí)現，又如何評估？
2023年，公司將更加重視評估數據項目的投資回報率（ROI）。數據和數據團隊考核的指標將開(kāi)始成為主流。我們將看到數據團隊開(kāi)始開(kāi)發(fā)評估指標來(lái)衡量其價(jià)值。這包括數據的業(yè)務(wù)價(jià)值（data monetization)，使用度量，例如數據使用（例如，DAU、WAU、MAU和QUA），頁(yè)面瀏覽量或花費在數據資產(chǎn)上的時(shí)間，以及數據產(chǎn)品的應用情況，滿(mǎn)足數據消費者的d-NPS分數，數據宕機等業(yè)務(wù)連續性指標，還有數據質(zhì)量的評估等。
趨勢二：現代數據架構越來(lái)越普遍
現代數據架構并非新的概念，但其影響決定了我們未來(lái)的趨勢。其核心的一點(diǎn)是語(yǔ)言計算，DCMM是國內首創(chuàng )，在推動(dòng)我國數字化轉型方面做了相當多的工作。最近EDM委員會(huì )、DAMA、谷歌在做線(xiàn)上的數據管理的評估體系，對于DCMM、DAMA經(jīng)典的基于線(xiàn)下的數據評估體系帶來(lái)了深刻的影響。
趨勢三：分布式趨勢
集中式的還是分布式？從數字政府的角度看，我們所有的數據都是集中式的，一是這種數據重復存儲的成本大大提升了；二是數據完全集中的難度很大，成本很高。于是市場(chǎng)出現了分布式的聲音，即數據可以實(shí)時(shí)抓取、實(shí)時(shí)分析，但數據不是由某一個(gè)集中化的數據團隊來(lái)負責，而是仍存儲在各個(gè)地方，由各個(gè)部門(mén)來(lái)負責的——這就是數據民主化。目前來(lái)看，美國和歐盟分布式的數據存儲和處理的方式越來(lái)越多了，特別是數據編織（Data Fabric）落地特別多，數據網(wǎng)格（Data Mesh）落地不是很多，但是這種趨勢已經(jīng)很明顯。我相信中國也將很快朝著(zhù)這個(gè)方向發(fā)展。
趨勢四：主動(dòng)型元數據管理
主動(dòng)型元數據管理是可能性的趨勢。2021年 8月，Gartner把元數據管理從有關(guān)技術(shù)象限圖中取消了，取而代之的是主動(dòng)型元數據管理。這標志著(zhù)傳統的元數據管理方法的終結，并開(kāi)啟了對元數據的新思考方式。元數據本身正在成為大數據，Snowflake和Redshift等計算引擎的技術(shù)進(jìn)步（比如彈性等）使從元數據中獲取智能成為可能，這種方式在幾年前是難以想象的?，F在元數據不止是作為查詢(xún)的工具，它還影響到生產(chǎn)系統，如數據的熱點(diǎn)在哪、數據的安全屬性是什么樣等。
趨勢五：基于A(yíng)I的自動(dòng)化管理
AI最初是基于管理數據質(zhì)量提出來(lái)的。我們不能僅憑數據的準確性來(lái)評估數據的質(zhì)量，還有其他緯度溝通可以評估，我們希望原數據的管理有AI的系統，包括數據系統、數據的分類(lèi)分級等等。
自動(dòng)化不僅僅發(fā)生在數據質(zhì)量上。我們可以看到數據管理行業(yè)越來(lái)越多的流程變得自動(dòng)化。公司需要開(kāi)箱即用的解決方案，可以使它們的一些任務(wù)自動(dòng)化?，F在，我們看到人工智能和元數據使許多流程自動(dòng)化，隨著(zhù)公司越來(lái)越多地接受數據民主化，它們將需要自動(dòng)化許多數據管理流程，并為業(yè)務(wù)用戶(hù)提供簡(jiǎn)單的控制。
趨勢六：數據可觀(guān)測性
數據可觀(guān)察性是組織根據收集的信息了解數據狀態(tài)的能力。它通過(guò)自動(dòng)化監控系統來(lái)提供這種理解，幾乎沒(méi)有人工干預。具有數據可觀(guān)察性的組織可以識別有關(guān)其整個(gè)數據系統的數據質(zhì)量問(wèn)題、異常、模式更改等。數據可觀(guān)測性的好處包括：監測數據系統的質(zhì)量，幾乎沒(méi)有領(lǐng)域知識；在實(shí)現之后，用戶(hù)可以監控全局并以最小的努力預防問(wèn)題；主動(dòng)檢測問(wèn)題并通知下游用戶(hù)(在問(wèn)題影響下游系統之前)；可以處理更復雜的數據系統，并識別領(lǐng)域專(zhuān)家可能沒(méi)有想到的問(wèn)題。
趨勢七：低代碼或者無(wú)代碼
我們以前至少需要20人在一年的時(shí)間建立數據倉庫，現在有可能30分鐘可以完成。通過(guò)使應用程序更簡(jiǎn)單(需要更少的編碼)，可以讓更多的用戶(hù)和角色使用數據管理流程。有了像Fivetran這樣的自動(dòng)化數據管道工具和像dbt Labs這樣的轉換工具，提取和轉換不再需要一行代碼。今天的現代數據堆棧很容易設置，現收現付，即插即用！像Fivetran和Snowflake這樣的工具可以讓用戶(hù)在不到30分鐘的時(shí)間內建立數據倉庫。
趨勢八：數據確權
“數據二十條”以解決市場(chǎng)主體遇到的實(shí)際問(wèn)題為導向，創(chuàng )新數據產(chǎn)權觀(guān)念，淡化所有權、強調使用權，聚焦數據使用權流通，創(chuàng )造性提出建立數據資源持有權、數據加工使用權和數據產(chǎn)品經(jīng)營(yíng)權“三權分置”的數據產(chǎn)權制度框架，構建中國特色數據產(chǎn)權制度體系。數據上升到生產(chǎn)要素后，確權問(wèn)題就顯得特別重要。針對精準確權，我們與清華大學(xué)推出了的相關(guān)方法論。
趨勢九：數據價(jià)值評估
數據作為生產(chǎn)要素需要完善數據價(jià)值評估的體系，不僅僅是完善數據價(jià)格、定價(jià)系統，還要考慮數據資產(chǎn)入財務(wù)報表等問(wèn)題。
趨勢十：數據處理的倫理及合規
隨著(zhù)AIGC的發(fā)展，針對AIGC龐大數據量，如何進(jìn)行底層數據架構成為很重要的課題。其中涉及數據的合規、可信、交易監管等問(wèn)題，都值得進(jìn)一步探索。