作者：Denodo 亞太地區(qū)數(shù)據(jù)架構(gòu)總監(jiān)Shanmuga Sunthar Muniandy

在關(guān)于企業(yè)數(shù)據(jù)和分析的討論中，數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格是兩個經(jīng)常被提及的概念。它們雖然表面上看起來非常相似，但實(shí)際上在信息流的用途上卻大不相同。這種不同也對當(dāng)今和未來的業(yè)務(wù)產(chǎn)生越來越大的影響，因為越來越多的業(yè)務(wù)要素涉及數(shù)據(jù)集成和管理，如產(chǎn)品交付、客戶參與、業(yè)務(wù)發(fā)展，甚至財務(wù)會計。

Denodo 亞太地區(qū)數(shù)據(jù)架構(gòu)總監(jiān)Shanmuga Sunthar Muniandy

在過去二十年中，企業(yè)管理數(shù)據(jù)的方式在中心化、去中心化、數(shù)據(jù)庫化、數(shù)據(jù)倉庫、云數(shù)據(jù)存儲和數(shù)據(jù)湖的循環(huán)之間來回?fù)u擺。這個列表還在不斷增加。目前，我們有多種基于云的超大規(guī)模擴(kuò)展平臺 (hyper scaler)，如 Amazon Web Services (AWS)、Microsoft Azure 和 Google Cloud Platform (GCP)，它們都是知名度很高的平臺。

盡管存在很多選擇，但難題仍然存在：企業(yè)希望數(shù)據(jù)集中在一個位置，并且易于查找。如何將所有數(shù)據(jù)收集到一個位置仍是一個難題。數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格設(shè)計可以幫助企業(yè)以不同的方式解決這些難題。

對于當(dāng)今的企業(yè)，找到一個面向未來的數(shù)據(jù)框架來滿足不斷變化的商業(yè)需求至關(guān)重要。今天，讓我們拋開對數(shù)據(jù)管理的抽象理解，看看如何將數(shù)據(jù)作為創(chuàng)造收入和價值的新來源。

去中心化 — 出路

在當(dāng)今環(huán)境中，各個業(yè)務(wù)部門如孤島般分散運(yùn)營，物理方式將數(shù)據(jù)集中到一個存儲庫中十分困難。這意味著需要連接到必要數(shù)據(jù)源，其中存儲的數(shù)據(jù)在格式、大小、隱私限制或其他元數(shù)據(jù)特征方面可能大不相同。

通過邏輯數(shù)據(jù)集成，業(yè)務(wù)用戶可以利用虛擬化來連接和統(tǒng)一數(shù)據(jù)，并避免出現(xiàn)以物理方式復(fù)制數(shù)據(jù)并進(jìn)行攝取所導(dǎo)致的問題。在邏輯數(shù)據(jù)集成架構(gòu)中，用戶并非直接訪問數(shù)據(jù)，而是通過共享語義模型來訪問數(shù)據(jù)。這些解決方案提供數(shù)據(jù)的虛擬化表示形式，并使源數(shù)據(jù)保持不變。這很重要，因為越來越多的利益相關(guān)者（高管和關(guān)鍵決策者）開始使用源數(shù)據(jù)，以從宏觀上更準(zhǔn)確地了解業(yè)務(wù)。

必須注意，邏輯數(shù)據(jù)編織與數(shù)據(jù)網(wǎng)格是兩種截然不同的架構(gòu)方法。數(shù)據(jù)編織是一種數(shù)據(jù)基礎(chǔ)架構(gòu)堆棧，而數(shù)據(jù)網(wǎng)格則重點(diǎn)面向流程，旨在解決分布式環(huán)境中的數(shù)據(jù)集成、管理和交付問題。

用于商業(yè)智能分析的數(shù)據(jù)編織

我們使用一個日常生活中的類比：就像我們服裝面料中不同的線一樣，數(shù)據(jù)編織包含來自不同位置且具有不同格式和類型的數(shù)據(jù)，這些數(shù)據(jù)編織在一起。在這種配置中，數(shù)據(jù)仍被理解為需要通過傳統(tǒng)復(fù)制進(jìn)行物理集成。邏輯數(shù)據(jù)編織將物理數(shù)據(jù)集成替換為邏輯數(shù)據(jù)集成組件。數(shù)據(jù)虛擬化使這一過程成為可能。這將創(chuàng)建一個邏輯數(shù)據(jù)編織。

此邏輯數(shù)據(jù)編織使業(yè)務(wù)用戶可以選擇將業(yè)務(wù)語義放在頂層，而不影響底層數(shù)據(jù)源。業(yè)務(wù)決策者和數(shù)據(jù)分析師可以構(gòu)建定制虛擬數(shù)據(jù)存儲，而無需移動底層數(shù)據(jù)源，也不必?fù)?dān)心無意中修改或損壞底層數(shù)據(jù)源。

對于企業(yè)領(lǐng)導(dǎo)者而言，他們的數(shù)據(jù)科學(xué)家團(tuán)隊可以使用其首選商業(yè)智能工具，并以迭代方式構(gòu)建其數(shù)據(jù)模型。這意味著在收集、復(fù)制和清理數(shù)據(jù)以進(jìn)行分析時，項目管理復(fù)雜性更低。邏輯數(shù)據(jù)編織可使數(shù)據(jù)就緒并可供使用。

Toyota-Astra Motor (TAM) 印度尼西亞分公司目前是印度尼西亞汽車行業(yè)的市場領(lǐng)導(dǎo)者，該企業(yè)將Denodo數(shù)據(jù)虛擬化技術(shù)作為其企業(yè)級邏輯數(shù)據(jù)編織的核心組件?，F(xiàn)在，高管、數(shù)據(jù)科學(xué)家和業(yè)務(wù)用戶可以輕松使用他們選擇的商業(yè)智能工具。更重要的是，引入邏輯數(shù)據(jù)平臺不僅確保了能夠集中管理安全策略，還恢復(fù)了對數(shù)據(jù)的整體信任和信心。

邏輯數(shù)據(jù)編織可以消除數(shù)據(jù)訪問和集成的復(fù)雜性，使業(yè)務(wù)用戶能夠做出更及時的決策，并縮短產(chǎn)品或服務(wù)開發(fā)周期。

可提供宏觀可見性的數(shù)據(jù)網(wǎng)格

數(shù)據(jù)編織是一種集成解決方案，而數(shù)據(jù)網(wǎng)格則是一種組織解決方案，用于在單個企業(yè)中組織數(shù)據(jù)、個人訪問權(quán)限、流程和工作流。

在數(shù)據(jù)網(wǎng)格中，數(shù)據(jù)所有權(quán)和管理屬于已分配的“數(shù)據(jù)域”，這些數(shù)據(jù)域與企業(yè)部門或職能相對應(yīng)。每個數(shù)據(jù)域中的利益相關(guān)者將他們的數(shù)據(jù)打包在一起，作為產(chǎn)品在整個企業(yè)中交付。企業(yè)的各個部門都會創(chuàng)建和維護(hù)自己的數(shù)據(jù)產(chǎn)品 - 包括消費(fèi)者數(shù)據(jù)產(chǎn)品、資產(chǎn)數(shù)據(jù)產(chǎn)品和財務(wù)數(shù)據(jù)產(chǎn)品等。

當(dāng)企業(yè)的關(guān)鍵領(lǐng)導(dǎo)部門和數(shù)據(jù)域的所有者需要創(chuàng)建自己的“視圖”或數(shù)據(jù)產(chǎn)品時，授予訪問權(quán)限的權(quán)變措施可能復(fù)雜且成本高昂。在這種情況下，邏輯數(shù)據(jù)網(wǎng)格可將業(yè)務(wù)相關(guān)者對頂視可見性的需求與企業(yè)現(xiàn)有 IT 架構(gòu)設(shè)計聯(lián)系起來。

通過邏輯數(shù)據(jù)網(wǎng)格，企業(yè)可使有數(shù)據(jù)使用需求的用戶、分析師、開發(fā)人員和應(yīng)用程序訪問由相關(guān)可用數(shù)據(jù)以有序且安全的方式結(jié)成的網(wǎng)絡(luò)。數(shù)據(jù)虛擬化使企業(yè)能夠繼續(xù)使用現(xiàn)有數(shù)據(jù)資產(chǎn)、服務(wù)和項目管理工作流，而無需進(jìn)行破壞性權(quán)衡。

邏輯數(shù)據(jù)網(wǎng)格可在互斥層中分別提供商業(yè)智能團(tuán)隊訪問權(quán)限和業(yè)務(wù)元數(shù)據(jù)，可為數(shù)據(jù)域創(chuàng)建新語義層，而不必?fù)?dān)心修改或損壞數(shù)據(jù)源。數(shù)據(jù)虛擬化還是創(chuàng)建新數(shù)據(jù)域的構(gòu)建模塊，這些數(shù)據(jù)域可以打包以供內(nèi)部企業(yè)使用，或者作為面向外部客戶的產(chǎn)品進(jìn)行銷售。

邏輯數(shù)據(jù)編織、數(shù)據(jù)網(wǎng)格，還是兩者兼而有之？

哪種方法更好？這取決于企業(yè)的運(yùn)營工作流和規(guī)模。邏輯數(shù)據(jù)編織是一種智能、強(qiáng)大的數(shù)據(jù)集成、管理和交付方法，適用于各種形式和規(guī)模的企業(yè)。數(shù)據(jù)網(wǎng)格架構(gòu)是一種同樣智能的方法，用于組織整個企業(yè)內(nèi)的數(shù)據(jù)，通常對于擁有很多業(yè)務(wù)部門和復(fù)雜組織結(jié)構(gòu)的大型企業(yè)更有效。因此，問題不在于選擇數(shù)據(jù)編織還是數(shù)據(jù)網(wǎng)格，而在于企業(yè)（根據(jù)其需求）是否需要同時實(shí)施數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格。

Denodo數(shù)據(jù)虛擬化技術(shù)使企業(yè)通過邏輯的方式進(jìn)行數(shù)據(jù)集成和管理，并保障數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格兩種方法的優(yōu)勢。同時，該技術(shù)還能為企業(yè)提供面向未來的數(shù)據(jù)框架，滿足并適應(yīng)當(dāng)前和未來不斷變化的業(yè)務(wù)需求和環(huán)境。