作為任何企業(yè)進行新的應(yīng)用部署或系統(tǒng)更新的重要組成部分,數(shù)據(jù)遷移可以完成的遠不止簡單的數(shù)據(jù)傳輸。我們完全可以把它當(dāng)作改進現(xiàn)有數(shù)據(jù)質(zhì)量的一個機會,而且還可以對信息應(yīng)用采用更高標(biāo)準(zhǔn),為公司增添力量。它也可作為數(shù)據(jù)治理計劃的理想試點。
數(shù)據(jù)治理是一個不斷發(fā)展的學(xué)科。其目的是通過持續(xù)應(yīng)用標(biāo)準(zhǔn)流程及方法,給予公司對數(shù)據(jù)質(zhì)量和安全性的控制。
數(shù)據(jù)治理著眼于:提高數(shù)據(jù)質(zhì)量、保護敏感數(shù)據(jù)、鼓勵信息共享、提供關(guān)鍵業(yè)務(wù)數(shù)據(jù)、信息生命周期中的管理。
“許多數(shù)據(jù)遷移項目存在這樣的問題:過于頻繁地把遺留環(huán)境中的壞數(shù)據(jù)移動到全新系統(tǒng)中。”Informatica產(chǎn)品戰(zhàn)略副總裁RobKarel說。“在您把數(shù)據(jù)遷移到新的應(yīng)用系統(tǒng)之前,您必須先要詢問哪些數(shù)據(jù)可以放入新的干凈環(huán)境中。”
Karel主張將應(yīng)用數(shù)據(jù)清理規(guī)則、統(tǒng)協(xié)重復(fù)數(shù)據(jù)以及清除孤立和未使用數(shù)據(jù)作為邁向數(shù)據(jù)治理標(biāo)準(zhǔn)的良好開端。
“因為對數(shù)據(jù)治理項目的支持或許可望而不可及,通常需要一套有用的具體步驟來開始。”Karel建議要像TDWI研究概括的那樣,使用以下八個步驟,啟動一個包含數(shù)據(jù)遷移的數(shù)據(jù)治理方案:
學(xué)習(xí)數(shù)據(jù)質(zhì)量技術(shù)并加以應(yīng)用。數(shù)據(jù)質(zhì)量是一整套技術(shù)和實踐,它能為企業(yè)數(shù)據(jù)遷移工作的成功做出巨大貢獻。
及早并經(jīng)常剖析數(shù)據(jù)質(zhì)量。剖析數(shù)據(jù)質(zhì)量奠定了企業(yè)為新系統(tǒng)制定數(shù)據(jù)質(zhì)量、模型、架構(gòu)及使用規(guī)則標(biāo)準(zhǔn)的基礎(chǔ)。
在前進過程中創(chuàng)建業(yè)務(wù)詞匯表。根據(jù)業(yè)務(wù)使用情況定義遺留或新系統(tǒng)中的數(shù)據(jù)。
使用數(shù)據(jù)質(zhì)量度量標(biāo)準(zhǔn)。使用這些度量標(biāo)準(zhǔn)持續(xù)改進數(shù)據(jù),并治理數(shù)據(jù)遷移前后的整個生命周期。
糾正不合規(guī)數(shù)據(jù)。使用有利工具,以允許運行時自動及手動數(shù)據(jù)遷移數(shù)據(jù)的一致性問題。
通過驗證和確認(rèn)治理實時數(shù)據(jù)。一旦新系統(tǒng)啟動并運行,在持續(xù)基礎(chǔ)上監(jiān)測關(guān)鍵信息,以確保數(shù)據(jù)與數(shù)據(jù)治理政策及標(biāo)準(zhǔn)相容。
使用管理技術(shù)以調(diào)整數(shù)據(jù)治理和業(yè)務(wù)目標(biāo)。數(shù)據(jù)管理非常重要,因為這一角色為業(yè)務(wù)和技術(shù)團隊的溝通服務(wù)。
協(xié)作管理。跨職能團隊決定遷移過程中哪些數(shù)據(jù)應(yīng)該被治理以及如何治理,所有數(shù)據(jù)并非同等重要。
好文章,需要你的鼓勵
浙江大學(xué)團隊提出動態(tài)專家搜索方法,讓AI能根據(jù)不同問題靈活調(diào)整內(nèi)部專家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計算成本。研究發(fā)現(xiàn)不同類型問題偏愛不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學(xué)研究團隊提出SIRI方法,通過"壓縮-擴張"交替訓(xùn)練策略,成功解決了大型推理模型"話多且準(zhǔn)確率低"的問題。實驗顯示,該方法在數(shù)學(xué)競賽題上將模型準(zhǔn)確率提升43.2%的同時,輸出長度減少46.9%,真正實現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團隊開發(fā)出Rolling Forcing技術(shù),實現(xiàn)AI視頻實時流式生成的重大突破。該技術(shù)通過滾動窗口聯(lián)合去噪、注意力錨點機制和高效訓(xùn)練算法三項創(chuàng)新,解決了長視頻生成中的錯誤累積問題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開辟新可能。
華中科技大學(xué)研究團隊發(fā)現(xiàn),通過讓AI模型學(xué)習(xí)解決幾何問題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個幾何題目的Euclid30K數(shù)據(jù)集,使用強化學(xué)習(xí)方法訓(xùn)練多個AI模型。實驗結(jié)果顯示,幾何訓(xùn)練在四個空間智能測試基準(zhǔn)上都帶來顯著提升,其中最佳模型達到49.6%準(zhǔn)確率,超越此前最好成績。這項研究揭示了基礎(chǔ)幾何知識對培養(yǎng)AI空間智能的重要價值。