如何構(gòu)建數(shù)據(jù)服務(wù)平臺(tái)?如何讓數(shù)據(jù)服務(wù)平臺(tái)更好地為企業(yè)業(yè)務(wù)服務(wù)?【友盟+】基礎(chǔ)數(shù)據(jù)部技術(shù)總監(jiān)張金在2016中國數(shù)據(jù)庫技術(shù)大會(huì)(DTCC)上,分享了【友盟+】的經(jīng)驗(yàn),他表示,整合數(shù)據(jù)是建立數(shù)據(jù)服務(wù)平臺(tái)的首要任務(wù);統(tǒng)一數(shù)據(jù)、統(tǒng)一服務(wù)、統(tǒng)一接口是建立數(shù)據(jù)服務(wù)平臺(tái)的三大目標(biāo)。
(圖為:【友盟+】基礎(chǔ)數(shù)據(jù)部技術(shù)總監(jiān) 張金)
整合數(shù)據(jù)是關(guān)鍵
數(shù)據(jù)打通是長期困擾大數(shù)據(jù)領(lǐng)域的一道難題,由于數(shù)據(jù)的多源化、碎片化,以及數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)庫技術(shù)的差別,導(dǎo)致數(shù)據(jù)很難融通,大數(shù)據(jù)的價(jià)值并沒有充分挖掘出來,同時(shí)也為構(gòu)建大數(shù)據(jù)平臺(tái)帶來了很多挑戰(zhàn)。張金表示,“在面對(duì)迅猛發(fā)展的數(shù)據(jù)業(yè)務(wù)時(shí),整合數(shù)據(jù)是建立數(shù)據(jù)服務(wù)平臺(tái)的首要任務(wù),這樣才能提升數(shù)據(jù)存儲(chǔ)效率和安全性,提升數(shù)據(jù)的使用效率和價(jià)值。以【友盟+】數(shù)據(jù)服務(wù)平臺(tái)為例,圍繞客戶關(guān)心的服務(wù)構(gòu)建整個(gè)數(shù)據(jù)服務(wù)平臺(tái)中的數(shù)據(jù)、算法和開放三個(gè)子平臺(tái)。數(shù)據(jù)平臺(tái)是要解決“有什么”的問題,解決數(shù)據(jù)的整合、清洗、打通、盤點(diǎn)。算法平臺(tái),解決“怎么用”的問題,提供統(tǒng)一基礎(chǔ)設(shè)施解決方案。開放平臺(tái),解決“方便性”的問題,完備配套設(shè)施:安全、賬號(hào)、權(quán)限、計(jì)費(fèi)。統(tǒng)一數(shù)據(jù),統(tǒng)一服務(wù),統(tǒng)一接口是建立數(shù)據(jù)服務(wù)平臺(tái)的三大目標(biāo)。“
接下來,張金進(jìn)一步給出了直指三個(gè)目標(biāo)的解決方案。
首先是統(tǒng)一數(shù)據(jù),至少要解決五方面的問題:1、數(shù)據(jù)遷移整合,建立數(shù)據(jù)流轉(zhuǎn)通路2、制定數(shù)據(jù)規(guī)范,統(tǒng)一研發(fā)標(biāo)準(zhǔn),統(tǒng)一命名規(guī)則3、用戶ID打通,ID Mapping系統(tǒng)4、統(tǒng)一指標(biāo)和標(biāo)簽體系,確立標(biāo)準(zhǔn),消除二義性5、建立日常數(shù)據(jù)透視,隨時(shí)了解數(shù)據(jù)狀況。
以ID Mapping為例
【友盟+】數(shù)據(jù)服務(wù)平臺(tái)使用海量種類豐富的ID配對(duì)數(shù)據(jù),通過算法對(duì)所有ID進(jìn)行關(guān)聯(lián)映射,將同一個(gè)體的多個(gè)用戶ID聚合在一起,最終實(shí)現(xiàn)Cookie、IMEI、IDFA、第三方賬號(hào)等不同場(chǎng)景下的用戶ID全打通,從而能夠全面分析全域范圍下的用戶行為。
以標(biāo)簽體系為例
【友盟+】數(shù)據(jù)服務(wù)平臺(tái)根據(jù)分類梳理標(biāo)簽,即構(gòu)造完整的標(biāo)簽體系,挖掘分析出“人口屬性”、“長期愛好”、“短期興趣”和“關(guān)鍵詞標(biāo)簽”等人群標(biāo)簽,以滿足各種數(shù)據(jù)應(yīng)用場(chǎng)景中的對(duì)精準(zhǔn)定向的需求。例如,一個(gè)跑步愛好者適合企業(yè)進(jìn)行長期品牌影響,而一個(gè)馬上想買鞋的人可能就需要快速而精準(zhǔn)直接的商品推薦。
其次是統(tǒng)一接口,傳統(tǒng)的方法是為每一個(gè)功能包裝一個(gè)接口,這種方法存在的問題是,混亂的接口設(shè)計(jì),錯(cuò)綜復(fù)雜的調(diào)用關(guān)系,苦、不靈活、重復(fù)勞動(dòng),【友盟+】摸索出的新方法讓業(yè)務(wù)開發(fā)工程師只需要關(guān)心2件事情:1、統(tǒng)一的調(diào)用方式;2、清晰的邏輯數(shù)據(jù)表。
最后是統(tǒng)一服務(wù),提供統(tǒng)一基礎(chǔ)設(shè)施的解決方案。
以U-DMP為例
【友盟+】數(shù)據(jù)管理平臺(tái)(U-DMP),基于大數(shù)據(jù)分析的客戶洞察,讓企業(yè)能夠輕松洞察并定向目標(biāo)人群,從而更好地幫助企業(yè)進(jìn)行商業(yè)營銷。張金舉例說:【友盟+】曾經(jīng)遇到一個(gè)經(jīng)典的案例,某著名電腦品牌對(duì)某款產(chǎn)品受眾定位是高端的白領(lǐng)女性,但經(jīng)過對(duì)購買人群的畫像透視后,結(jié)果發(fā)現(xiàn)購買者大相徑庭:大部分的受眾為男性青年中等收入者。而 U-DMP這時(shí)就發(fā)揮了重要的作用,一是可以幫助企業(yè)洞悉自己的目標(biāo)人群(如會(huì)員、曾經(jīng)的購買者)。通過分析目標(biāo)人群的畫像,了解目標(biāo)人群的特質(zhì)(如地域分布、與其他品類的重疊受眾)。從而在U-DMP上圈選出所需的特定人群,進(jìn)行推薦、EDM、甚至聯(lián)合營銷等相關(guān)的營銷手段。配合人群放大功能,進(jìn)一步擴(kuò)大營銷受眾和影響力。這項(xiàng)服務(wù)讓企業(yè)能夠輕松洞察并定向目標(biāo)人群,從而最好地滿足這些需求來提升客戶體驗(yàn)。“
【友盟+】:全球領(lǐng)先的第三方全域大數(shù)據(jù)服務(wù)提供商,依托于自主研發(fā)的全域數(shù)據(jù)平臺(tái),為客戶提供一站式數(shù)據(jù)化解決方案。一方面提供數(shù)據(jù)產(chǎn)品,包括APP開發(fā)工具、基礎(chǔ)統(tǒng)計(jì)工具、廣告效果監(jiān)測(cè)工具等,另一方面提供數(shù)據(jù)交換及專業(yè)的數(shù)據(jù)分析和咨詢服務(wù),包括DMP、垂直領(lǐng)域數(shù)據(jù)化解決方案、數(shù)據(jù)運(yùn)營分析報(bào)告等。
好文章,需要你的鼓勵(lì)
浙江大學(xué)團(tuán)隊(duì)提出動(dòng)態(tài)專家搜索方法,讓AI能根據(jù)不同問題靈活調(diào)整內(nèi)部專家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計(jì)算成本。研究發(fā)現(xiàn)不同類型問題偏愛不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學(xué)研究團(tuán)隊(duì)提出SIRI方法,通過"壓縮-擴(kuò)張"交替訓(xùn)練策略,成功解決了大型推理模型"話多且準(zhǔn)確率低"的問題。實(shí)驗(yàn)顯示,該方法在數(shù)學(xué)競(jìng)賽題上將模型準(zhǔn)確率提升43.2%的同時(shí),輸出長度減少46.9%,真正實(shí)現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團(tuán)隊(duì)開發(fā)出Rolling Forcing技術(shù),實(shí)現(xiàn)AI視頻實(shí)時(shí)流式生成的重大突破。該技術(shù)通過滾動(dòng)窗口聯(lián)合去噪、注意力錨點(diǎn)機(jī)制和高效訓(xùn)練算法三項(xiàng)創(chuàng)新,解決了長視頻生成中的錯(cuò)誤累積問題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開辟新可能。
華中科技大學(xué)研究團(tuán)隊(duì)發(fā)現(xiàn),通過讓AI模型學(xué)習(xí)解決幾何問題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個(gè)幾何題目的Euclid30K數(shù)據(jù)集,使用強(qiáng)化學(xué)習(xí)方法訓(xùn)練多個(gè)AI模型。實(shí)驗(yàn)結(jié)果顯示,幾何訓(xùn)練在四個(gè)空間智能測(cè)試基準(zhǔn)上都帶來顯著提升,其中最佳模型達(dá)到49.6%準(zhǔn)確率,超越此前最好成績。這項(xiàng)研究揭示了基礎(chǔ)幾何知識(shí)對(duì)培養(yǎng)AI空間智能的重要價(jià)值。