Data mesh — co to jest i jak działa

Data mesh to model zarządzania danymi, w którym zespoły domenowe odpowiadają za zbiory ze swoich obszarów.¹ W artykule wyjaśniamy, jak działa ten podział pracy i jak ma się do hurtowni danych, ETL oraz data governance, czyli zasad zarządzania danymi.
Zhamak Dehghani opublikowała pierwszy opis data mesh w 2019 roku².

Czym jest data mesh i jakie ma ograniczenia?

W data mesh decyzje o zbiorach podejmują zespoły bliskie miejscom, w których powstają dane. To zespoły domenowe: znają procesy swojego obszaru i odpowiadają za pochodzące z niego dane. Muszą też współpracować z innymi domenami, bo bez uzgodnień te same dane mogą otrzymać różne opisy i znaczenia.
W opisanym wdrożeniu Roche 30 domen rozwijało co najmniej 300 produktów danych³.

Jaki problem w zarządzaniu danymi rozwiązuje data mesh?

Data mesh ogranicza wąskie gardła powstające wtedy, gdy każde żądanie dotyczące danych trafia do centralnego zespołu. Ludzie znający źródło mogą sami wyjaśnić znaczenie pól i szybciej odnieść się do zmian w swoim obszarze.
Decyzje podejmowane bliżej źródła nadal wymagają uzgadniania definicji wspólnych dla różnych domen⁴.

Jak zmienia się organizacja pracy z danymi?

Data mesh zmienia podział pracy. Zespół domenowy odpowiada za udostępniany zbiór, a odbiorca określa, do czego go potrzebuje i jak będzie go używać. Architektura referencyjna AWS wyróżnia trzy grupy uczestników: producentów danych, centralne zarządzanie i odbiorców danych⁵.

• Zespół domenowy ustala znaczenie danych pochodzących ze swojego obszaru.
• Odbiorcy danych zgłaszają, jakiego zakresu zbioru potrzebują i do czego go wykorzystają.
• Zespoły współpracujące uzgadniają definicje pojęć używanych w różnych obszarach.

Podział pracy w data mesh łączy wiedzę o źródle z potrzebami odbiorców. Nie trzeba kierować każdej decyzji do centralnej kolejki.
W Siemensie ręczne uzyskanie dostępu do zasobów danych mogło trwać tygodnie; w modelu samoobsługowym trwa minuty⁶.

Jakie ryzyka wiążą się z rozproszoną odpowiedzialnością i jakością danych?

Rozproszona odpowiedzialność w data mesh niesie ryzyko niespójnych definicji i nierównej jakości danych. Jakość oznacza tu poprawność i przydatność zbioru do określonego zastosowania. Jeśli domeny inaczej rozumieją tę samą miarę, połączenie ich zbiorów może prowadzić do błędnych wniosków.
Wspólne reguły opisu ograniczają to ryzyko, ale właściciele danych muszą je razem ustalić².

Kiedy podejście domenowe ma sens, a kiedy może się nie sprawdzić?

Podejście domenowe w data mesh ma sens, gdy odrębne obszary tworzą dane i mogą za nie odpowiadać. Samo przekazanie obowiązków nie wystarczy: zespoły muszą utrzymywać udostępniane zbiory i uzgadniać wspólne definicje. Model łączy lokalną odpowiedzialność ze współpracą między domenami.
Według badań Gartnera z 2020 roku niska jakość danych kosztuje organizacje średnio co najmniej 12,9 mln dolarów rocznie⁷.

Czym są zasady data mesh i platforma samoobsługowa?

Data mesh opiera się na 4 filarach: własności domenowej, traktowaniu danych jako produktu, samoobsługowej platformie danych i sfederowanym zarządzaniu.¹ Sfederowane zarządzanie daje domenom wspólne reguły, choć każda samodzielnie odpowiada za swoje dane. Dzięki temu odpowiedzialność za zbiory jest rozdzielona, a sposób ich udostępniania pozostaje spójny.
Przykładem zakresu takich standardów jest ISO/IEC 25012, która określa 15 cech jakości danych⁸.

Jak platforma samoobsługowa wspiera zespoły domenowe?

Self-Serve Data Platform, czyli samoobsługowa platforma danych, zapewnia domenom narzędzia, standardy i infrastrukturę potrzebne do pracy z danymi.¹ Pozwala wykonywać powtarzalne czynności bez przekazywania ich centralnemu zespołowi IT, ale w granicach wspólnych reguł⁴:

• Narzędzia platformy pomagają domenie przygotować i udostępnić dane bez zlecania każdej czynności centralnemu zespołowi.
• Standardy platformy określają sposób opisywania zbiorów zrozumiały także dla odbiorców z innych domen.
• Infrastruktura platformy daje domenom wspólne zaplecze techniczne, którego nie muszą budować osobno.

Platforma samoobsługowa pozwala domenom pracować samodzielnie. Wspólne standardy pomagają zarazem zachować spójność tej pracy.

Czym jest produkt danych?

Produkt danych to zbiór przygotowany do określonego zastosowania i utrzymywany po udostępnieniu. Nie jest jednorazowym eksportem. W podejściu Data as a Product ma właściciela, standardy jakości oraz zespół odpowiedzialny za utrzymanie.¹ Odbiorca dostaje dane wraz z ustalonym sposobem ich interpretacji.
Zhamak Dehghani wskazała osiem cech produktu danych, wśród nich możliwość odnalezienia, adresowalność i wiarygodność⁹.

Jakie cechy powinien mieć produkt danych?

Produkt danych potrzebuje określonych interfejsów, standardów jakości i dokumentacji. Dzięki nim odbiorca może go odnaleźć i użyć.¹⁰ Interfejs wskazuje sposób pobierania danych, dokumentacja wyjaśnia pola, a zasady dostępu określają uprawnionych odbiorców i cele użycia.
Model DCAT 3 opisuje te elementy trzema klasami: dcat:Catalog, dcat:Dataset i dcat:Distribution¹¹.

• Dokumentacja produktu danych wyjaśnia pola, definicje i przeznaczenie zbioru.
• Kryteria jakości produktu danych pomagają ocenić jego przydatność do planowanego zastosowania.
• Zasady dostępu do produktu danych określają uprawnienia odbiorców.

Jak podejście produktowe zmienia sposób myślenia o danych?

Podejście produktowe do danych każe patrzeć nie tylko na dostarczenie pliku, lecz także na jego przydatność. Zespół domenowy określa zastosowanie zbioru, wyjaśnia znaczenie danych i uwzględnia potrzeby odbiorców. Po publikacji nadal utrzymuje opis i reaguje na zmiany w źródle. Dane jako produkt oznaczają stałą odpowiedzialność, nie samo opublikowanie zbioru.
W opublikowanym przykładzie celu jakościowego dla produktu danych wymaga się, by dane nie były starsze niż 24 godziny¹².

Czym jest siatka danych i jakie korzyści może przynieść?

Siatka danych to polska nazwa data mesh. Model może ograniczyć zależność zespołów od centralnej kolejki prac nad danymi. Stanie się tak tylko wtedy, gdy domeny potrafią utrzymywać swoje zbiory i współpracować przy ich udostępnianiu.
W opisanym przez Softtek wdrożeniu data mesh dostęp do potrzebnych informacji skrócił się z 14 godzin do poniżej 30 minut¹³.

Dlaczego organizacje rozważają siatkę danych?

Organizacje rozważają siatkę danych, gdy centralna obsługa próśb o zbiory zaczyna utrudniać pracę odbiorcom. Przypisanie przygotowania danych domenie pozwala wykorzystać jej znajomość źródła. Sama zmiana odpowiedzialności nie gwarantuje jednak oszczędności. Oracle deklaruje zmniejszenie kosztów inżynierii danych o ponad 70% przy zastosowaniu opisywanych przez siebie rozwiązań; nie jest to wynik, którego można oczekiwać od każdego wdrożenia data mesh.¹⁴

Jak korzystać ze zdecentralizowanej architektury danych?

Rozproszona architektura danych w data mesh przypisuje domenom odpowiedzialność za zbiory. Nie nakazuje przy tym przechowywać danych każdej domeny w osobnym miejscu. Rozproszona własność nie oznacza fizycznego oddzielenia danych.¹⁵
Przykładowa architektura AWS Lake Formation przewiduje jedno centralne konto zarządzania obok kont producentów i odbiorców danych¹⁶.

• Domena odpowiedzialna za zbiór powinna znać jego źródło i znaczenie.
• Miejsce przechowywania zbioru należy ustalić niezależnie od tego, który zespół za niego odpowiada.
• Sposób udostępniania zbioru powinien umożliwiać odbiorcom pracę bez dostępu do systemu źródłowego.
• Uprawnienia odbiorców należy dopasować do przeznaczenia udostępnianych danych.

Decentralizacja w data mesh dotyczy odpowiedzialności za dane. Nie wymaga rozdzielania infrastruktury.

Zarządzanie danymi w modelu domenowym

Zarządzanie danymi w modelu domenowym łączy decyzje zespołów znających źródła ze wspólnymi regułami organizacji. Domeny opisują swoje zbiory, a uzgodnione standardy pomagają odbiorcom korzystać z danych pochodzących z różnych obszarów.
Dla domen przetwarzających dane osobowe wspólną regułą jest art. 5 ust. 1 lit. d RODO: dane muszą być prawidłowe i w razie potrzeby aktualizowane¹⁷.

Jakie korzyści może przynieść podział zarządzania między domeny?

Podział zarządzania między domeny pozwala kierować pytania o znaczenie i poprawność danych do zespołu znającego źródło. Odbiorca nie musi pytać o definicje pól wyłącznie zespołu centralnego.
Taki podział wymaga jednak wskazania, kto rozstrzyga rozbieżności między domenami¹⁸.

Jak metadane pomagają odnajdywać dane i rozumieć ich pochodzenie?

Metadane opisują zbiór i pomagają ustalić jego znaczenie, źródło oraz właściciela. Zarządzanie metadanymi polega na aktualizowaniu tych opisów wraz ze zmianami danych. W opisanym modelu data mesh domenowe katalogi metadanych łączą się z centralnym rejestrem metadanych. Rejestr wspiera wyszukiwanie oraz wspólne wykorzystanie danych z różnych obszarów.¹
Art. 30 ust. 1 RODO wymienia w rejestrze czynności przetwarzania m.in. kategorie danych, odbiorców i, jeśli możliwe, planowane terminy usunięcia¹⁷.

Jak przełożyć zasady zarządzania na praktykę?

Zasady zarządzania danymi pomagają w codziennej pracy, gdy wskazują czynności towarzyszące udostępnianiu zbioru:

• Właściciel zbioru rozstrzyga pytania o znaczenie danych.
• Opis zbioru wskazuje źródło i sposób interpretacji pól.
• Reguły dostępu określają, którzy odbiorcy mogą używać zbioru.

Jak zachować wspólne reguły w dużej organizacji?

Federated Governance opiera spójność między domenami na wspólnych standardach i regułach dostępu.¹ Organizacja ustala sposób opisywania oraz udostępniania zbiorów, a domeny stosują go w swoich obszarach. Właściciele muszą wspólnie uzgadniać zmiany definicji używanych przez kilka domen.
Autonomia domen dotyczy decyzji o własnych danych, nie dowolności w zasadach ich wymiany.

Jak działa data mesh od udostępnienia danych do ich wykorzystania?

Data mesh działa, gdy domena publikuje opisany zbiór, a uprawniony odbiorca korzysta z niego zgodnie z przeznaczeniem. Przepływ prowadzi od przygotowania danych u źródła, przez publikację, po ich użycie w innym obszarze organizacji.

Jakie cechy wyróżniają ten model?

Cechy wyróżniające ten model to powiązanie zbioru z zespołem, który rozumie jego znaczenie. Odbiorca dostaje dane i opis, więc nie musi sam odtwarzać definicji pól z systemu źródłowego. Za wyjaśnienie znaczenia odpowiada domena publikująca.

Jak dane przechodzą od zespołu domenowego do odbiorcy?

Przepływ danych w data mesh zaczyna się w domenie źródłowej i prowadzi do uprawnionego odbiorcy:

• Zespół domenowy przygotowuje zbiór z myślą o jego planowanym zastosowaniu.
• Zespół domenowy publikuje opis zbioru, aby odbiorca rozumiał znaczenie danych.
• Uprawniony odbiorca pobiera dane i używa ich w swoim procesie.

Jakie korzyści wynikają z tego sposobu udostępniania danych?

Udostępnianie domenowe daje odbiorcy kontakt do zespołu, który potrafi wyjaśnić znaczenie zbioru. Opis zmniejsza też potrzebę odgadywania definicji pól.
Korzyść znika, gdy publikowany opis przestaje nadążać za zmianami w źródle¹⁸.

Kiedy warto rozważyć ten model?

Data mesh warto rozważyć, gdy dane z jednego obszaru służą również innym zespołom, a do ich zrozumienia potrzeba wiedzy domenowej. Zespół źródłowy musi wtedy utrzymywać zbiór w postaci czytelnej dla odbiorców.
Przepływ domenowy działa, gdy wraz z publikacją danych domena bierze odpowiedzialność za wyjaśnianie ich znaczenia.

Architektura domenowa w praktyce: elementy i zależności

Architektura domenowa pokazuje, jak współpracują domeny biznesowe, ich produkty danych i wspólne zasady. Granice domen wyznacza odpowiedzialność za procesy biznesowe, a nie położenie baz danych.

Dlaczego organizacje przechodzą na architekturę domenową?

Architektura domenowa oddaje decyzje o zmianach danych zespołom znającym procesy, w których dane powstają. Gdy pole zmienia znaczenie w systemie źródłowym, odpowiednia domena może ocenić wpływ zmiany na swój produkt.
Odbiorcy potrzebują przy tym ustalonej drogi zgłaszania zmian wpływających na ich procesy.

Z jakich elementów składa się taka architektura?

Architektura domenowa obejmuje domeny biznesowe, produkty danych i warstwę zarządzania. Ta ostatnia, nazywana governance layer, wyznacza reguły obowiązujące między domenami. Zależności między produktami pokazują, które zbiory służą innym obszarom.
Warstwa zarządzania wskazuje też, jak uzgadniać zmiany wpływające na te zależności.

Jak połączyć domeny, produkty danych i wspólne zasady?

Architektura domenowa łączy te elementy przez wyraźne wskazanie zależności:

• Domena biznesowa wskazuje produkt udostępniany innym zespołom.
• Produkt danych określa, co odbiorca pobiera i jak ma rozumieć zawartość.
• Warstwa zarządzania wskazuje sposób uzgadniania zmian wpływających na odbiorców.

Jak może wyglądać przepływ danych między domenami?

Przepływ między domenami może prowadzić od produktu sprzedaży do produktu finansów. Sprzedaż udostępnia dane o transakcjach, a finanse używają uzgodnionych pól do przygotowania własnego zbioru.
Jeśli sprzedaż zmieni znaczenie pola, musi poinformować finanse. Od tej zmiany zależy poprawna interpretacja danych przez odbiorcę.

Odpowiedzialność domen za dane: kto podejmuje decyzje?

Odpowiedzialność domenowa, czyli Domain Ownership, pozostawia decyzje o znaczeniu, udostępnianiu i utrzymaniu produktu jego właścicielowi w domenie źródłowej. Właściciele domen danych odpowiadają za KPI, czyli wskaźniki oceny produktu, oraz SLA, czyli uzgodnione warunki świadczenia usługi, dotyczące swoich produktów danych.¹⁴
Domeny korzystające ze zbioru zgłaszają potrzeby, ale wspólne użycie nie musi oznaczać wspólnej własności.

Jak ustalić właścicieli danych i zakres ich odpowiedzialności?

Taki właściciel może rozstrzygać pytania o znaczenie danych. Zakres odpowiedzialności pomagają ustalić następujące działania:

• Domena źródłowa wskazuje osobę lub zespół decydujący o definicjach produktu danych.
• Właściciel produktu danych uzgadnia z odbiorcami sposób zgłaszania zmian wpływających na użycie zbioru.
• Domeny odbierające dane wskazują zastosowania produktu, za które odpowiadają we własnych procesach.

Podział odpowiedzialności oddziela decyzje o produkcie źródłowym od decyzji o jego użyciu w innych domenach.

Tworzenie produktów danych krok po kroku

Praca nad produktem danych zaczyna się od określenia odbiorcy i zastosowania. Potem zespół przygotowuje zbiór i wybiera sposób udostępnienia. Taka kolejność pomaga dopasować zawartość danych do zadania odbiorcy.

Jak określić odbiorcę i zastosowanie produktu danych?

Odbiorcę produktu danych określ, wskazując zespół, który użyje zbioru, oraz decyzję, którą dane mają wspierać.

• Zespół odbierający dane nazywa zadanie wymagające użycia zbioru.
• Zespół domenowy wybiera pola potrzebne do wykonania tego zadania.
• Zespół domenowy i odbiorca uzgadniają znaczenie pojęć użytych w zbiorze.

Określone zastosowanie wyznacza zakres produktu. Odbiorca nie musi wybierać danych z całego systemu źródłowego⁹.

Jak przygotować i udostępnić produkt danych?

Produkt danych powstaje przez przekształcenie danych źródłowych do uzgodnionej postaci i opisanie ich użycia. Zespół domenowy wykonuje przy tym następujące czynności:

• Zespół domenowy przygotowuje zbiór zgodnie z ustalonym zakresem pól.
• Zespół domenowy dokumentuje znaczenie pól i sposób uzyskania dostępu.
• Zespół domenowy dobiera sposób udostępnienia do potrzeb odbiorcy: aplikację albo API, czyli interfejs wymiany danych między systemami.

Oracle APEX Application Development i Oracle REST Data Services to przykłady wskazywane przez Oracle do udostępniania samoobsługowych produktów danych przez aplikacje lub API.¹⁴
Sposób publikacji powinien odpowiadać temu, jak odbiorca używa zbioru. Sam wybór narzędzia nie rozstrzyga tej kwestii.

Samoobsługowa platforma danych: wspólne zaplecze dla domen

Platforma danych daje domenom wspólne zaplecze techniczne do publikowania zbiorów. W data mesh odpowiedzialność za dane jest oddzielona od odpowiedzialności za infrastrukturę i narzędzia.¹⁹
Domena odpowiada za znaczenie zbioru, a zespół platformowy utrzymuje środowisko, z którego korzysta.

Jaką rolę pełni infrastruktura platformy danych?

Infrastruktura platformy danych pozwala domenom przechowywać, przetwarzać i udostępniać zbiory bez utrzymywania całego zaplecza we własnym zakresie. Obejmuje środowisko uruchomieniowe oraz mechanizmy potrzebne usługom danych.
Zespół platformowy odpowiada za działanie środowiska; domena za poprawność i znaczenie konkretnego zbioru¹⁸.

Wyzwania wdrożenia: jakość, współpraca i wspólne standardy

Wdrożenie data mesh wymaga ustalenia, kto odpowiada za dane współdzielone i jak domeny będą je wymieniać. Trudności sprawiają niejasne granice własności oraz uzgadnianie formatów, znaczeń i standardów jakości.²⁰
Bez tych ustaleń domeny mogą publikować zbiory, których odbiorcy nie potrafią poprawnie połączyć.

Jakie trudności najczęściej pojawiają się przy wdrożeniu?

Data mesh napotyka trudności organizacyjne, gdy zespoły różnie rozumieją swoje obowiązki. Problemem bywa też brak uzgodnień dotyczących zmian we wspólnych danych. Atlan przytacza w tym kontekście, że 70% nieudanych inicjatyw transformacyjnych przypisuje się problemom związanym z ludźmi; wskaźnik ten nie oznacza odsetka nieudanych wdrożeń data mesh.²⁰

Które obszary wymagają szczególnej uwagi?

Obszary wymagające szczególnej uwagi to własność danych współdzielonych, znaczenie pól i sposób wymiany zbiorów. Zgodność formatów nie wystarczy, jeśli domeny inaczej definiują tę samą miarę.
Odbiorca potrzebuje zarówno struktury danych, jak i reguły ich interpretacji.

Jak ograniczać bariery organizacyjne i techniczne?

Standaryzacja komponentów platformy danych i mechanizmów komunikacji ma zapobiegać powstawaniu silosów danych między domenami.¹⁵ Silos powstaje, gdy dane z jednego obszaru trudno znaleźć lub wykorzystać w innym. Bariery pomagają ograniczyć następujące działania:

• Właściciele domen uzgadniają, kto rozstrzyga zmiany w danych używanych przez różne zespoły.
• Zespoły domenowe stosują wspólne definicje pól wymienianych między obszarami.
• Zespół platformowy utrzymuje uzgodnione mechanizmy komunikacji między domenami.

Jakie pytania warto rozstrzygnąć przed wdrożeniem?

Plan wdrożenia data mesh powinien wskazywać właścicieli współdzielonych zbiorów, odbiorców zmian i sposób rozstrzygania różnic w definicjach. Organizacja ustala też, które reguły są wspólne, a które decyzje pozostają w domenach.
Jasne granice odpowiedzialności pozwalają zespołom pracować samodzielnie bez tworzenia nowych silosów.

Model domenowy a tradycyjne zarządzanie danymi: dostęp dla większej liczby zespołów

Model domenowy pozwala udostępniać dane większej liczbie zespołów bez kierowania każdej prośby do centralnej obsługi. Tabela pokazuje różnicę w obsłudze dostępu; w obu modelach nadal trzeba nadawać uprawnienia.

Co oznacza demokratyzacja dostępu do danych bez rezygnacji z zasad?

Demokratyzacja dostępu oznacza, że uprawnione zespoły mogą same znaleźć dane i ich użyć. Samoobsługowy dostęp nadal podlega regułom określającym, kto widzi zbiór i do czego może go wykorzystać. Samodzielność odbiorcy nie oznacza dostępu do wszystkich danych organizacji.
Data mesh poszerza możliwości pracy z danymi w granicach przyznanych uprawnień.

Zmiana sposobu pracy z danymi, nie tylko technologii

Data mesh zmienia odpowiedzialność za dane i sposób współpracy zespołów, nie tylko używane narzędzia. Nie jest pojedynczym produktem dostawcy ani jednorazowym projektem konsultingowym.¹⁴
Domeny utrzymują publikowane zbiory, a zespoły korzystające z nich uzgadniają zmiany wpływające na ich zastosowanie.

Oracle przytacza 70–80% jako odsetek transformacji cyfrowych kończących się porażką w kontekście omawiania data mesh; nie jest to odsetek nieudanych wdrożeń tego modelu.¹⁴
Wdrożenie wymaga trwałego podziału obowiązków. Sam zakup technologii go nie zapewni.

Dane w ruchu: jak udostępniać zmieniające się informacje?

Data mesh pozwala udostępniać zmieniające się dane, jeśli domena ustali, jak przekazuje aktualizacje i jak odbiorca ma je rozumieć. Synchronizacja danych utrzymuje zgodność zbiorów w różnych środowiskach. Nie zastępuje jednak odpowiedzialności za wyjaśnianie zmian.

• Domena źródłowa określa, które zmiany w zbiorze mają trafiać do odbiorców.
• Domena źródłowa i odbiorca uzgadniają sposób rozpoznawania aktualizacji danych.
• Zespół utrzymujący przepływ kontroluje, czy zmiany dotarły do środowiska odbiorcy.

Oracle wskazuje Oracle GoldenGate i Veridata jako rozwiązania do synchronizacji danych między regionami oraz środowiskami wielochmurowymi i hybrydowymi w architekturze siatki danych.¹⁴
Udostępnianie danych w ruchu wymaga przekazania aktualizacji i uzgodnienia jej znaczenia.

Zbiory danych oparte na zdarzeniach: kiedy są przydatne?

Zbiory danych oparte na zdarzeniach przydają się, gdy odbiorca musi reagować na zmianę w procesie, a nie tylko czytać okresowy raport. Zdarzenie zapisuje określoną zmianę, na przykład złożenie zamówienia, wraz z informacją pozwalającą ją rozpoznać.
Domena publikuje znaczenie zdarzenia, a odbiorca ustala działanie, które ma ono uruchomić.

Strumień zdarzeń to kolejne komunikaty o zmianach. Zespoły muszą uzgodnić, jak rozpoznawać komunikaty opóźnione lub powtórzone. Tabela zestawia zastosowanie takiego zbioru z zastosowaniem okresowego raportu.

Potoki danych przypisane do domen: od źródła do odbiorcy

Potoki danych przypisane do domen, czyli domain-oriented data pipelines, przenoszą i przekształcają dane źródłowe do postaci potrzebnej odbiorcy. Domena nadal odpowiada za udostępniany zbiór. ETL oznacza pobranie danych, ich przekształcenie i załadowanie do miejsca docelowego.
Przy projektowaniu potoku domena ustala znaczenie danych na wyjściu, a zespół techniczny dba o działanie przepływu.

Oracle deklaruje dostępność danych operacyjnych na poziomie powyżej 99,999% przy użyciu mikrousługowych potoków danych.¹⁴ Oracle deklaruje także 10 razy szybsze cykle innowacji przy przejściu z ETL na CTL.¹⁴ Wartości odnoszą się do rozwiązań opisywanych przez dostawcę, nie do gwarantowanych wyników data mesh.
Potok domenowy warto oceniać również po tym, czy odbiorca dostaje dane o uzgodnionym znaczeniu.

Wdrażanie modelu domenowego: od odpowiedzialności do narzędzi

Wdrożenie data mesh zaczyna się od wyboru domen pilotażowych. Potrzebne będą zmiany technologiczne i zmiany w sposobie współpracy.¹
Pilotaż pomaga ustalić pracę domeny, potrzeby odbiorców oraz zadania zespołu platformowego przed rozszerzeniem modelu.

Kto powinien odpowiadać za produkty danych?

Za produkt danych powinien odpowiadać zespół domenowy, który umie wyjaśnić jego znaczenie i utrzymywać go po publikacji. Potrzebuje też możliwości podejmowania decyzji o zmianach produktu.
Odbiorcy zgłaszają wymagania dotyczące użycia danych, ale nie przejmują odpowiedzialności za zbiór źródłowy.

Jaką rolę odgrywają narzędzia we wdrożeniu?

Narzędzia data mesh pomagają przygotować, opublikować i udostępnić dane. Nie rozstrzygają jednak, który zespół podejmuje decyzje o produkcie. Wybór narzędzi powinien wynikać z zadań domeny pilotażowej i sposobu pracy odbiorców.
Zainstalowanie platformy nie tworzy samo z siebie współpracy między zespołami.

Jak planować kolejne etapy wdrożenia?

Plan wdrożenia data mesh powinien prowadzić od pilotażu do kolejnych domen. Rozszerzenie modelu warto oprzeć na ocenie działania opublikowanego produktu.

• Domena pilotażowa wybiera zbiór i wskazuje jego odbiorców.
• Zespół domenowy publikuje produkt oraz zbiera uwagi o jego użyciu.
• Organizacja rozszerza model po uzgodnieniu odpowiedzialności i zasad współpracy z kolejnymi domenami.

Tabela zestawia czas pilotażu i wdrożenia w całej organizacji według Atlan.

Dane w tabeli: 20

Rozszerzenie pilotażu ma sens po sprawdzeniu, czy domena potrafi utrzymywać produkt używany przez odbiorców.

Porównanie architektur danych: hurtownia, jezioro danych i data fabric

Data mesh, hurtownia danych, czyli data warehouse, jezioro danych, czyli data lake, oraz data fabric rozwiązują różne problemy. Dotyczą odpowiedzialności za dane, ich przechowywania albo łączenia źródeł. Data mesh określa przede wszystkim, kto odpowiada za zbiory.
Pozostałe podejścia pomagają je gromadzić, przechowywać lub łączyć, zależnie od potrzeb organizacji.

Tabela porównuje te podejścia według głównego zadania, warunku użycia i ograniczenia.

Wybór podejścia zależy od problemu. Data mesh dotyczy podziału odpowiedzialności, a pozostałe architektury odpowiadają na potrzeby przechowywania lub integracji danych.

Jak współczesne platformy wspierają podejście domenowe?

Platforma wspiera model domenowy, gdy daje zespołom wspólne mechanizmy przygotowania, opisu i publikacji zbiorów. Domena określa znaczenie danych, a platforma obsługuje ich techniczne udostępnienie.
Przy ocenie platformy warto sprawdzić, czy pozwala wykonać te zadania bez przenoszenia własności danych na zespół techniczny.

Czym różni się podejście domenowe od jeziora danych?

Data mesh określa odpowiedzialność za dane, a jezioro danych sposób ich przechowywania. Produkty domenowe mogą korzystać z jeziora jako warstwy przechowywania.²⁰
Samo użycie jeziora nie oznacza ani przyjęcia, ani odrzucenia modelu domenowego.

Czym różni się od data fabric?

Data mesh organizuje pracę wokół odpowiedzialności domen. Data fabric skupia się na technicznym łączeniu i udostępnianiu danych z różnych źródeł. Mechanizmy integracji mogą pomagać domenom, ale nie wyznaczają właściciela znaczenia zbioru.
Różnica dotyczy więc zarządzania danymi, nie tylko miejsca ich przechowywania.

W jakich branżach można rozważyć architekturę domenową?

Architekturę domenową można rozważyć w handlu, finansach lub produkcji, jeśli dane z odrębnych obszarów służą innym zespołom. O decyzji przesądzają odpowiedzialność i potrzeba wymiany danych, a nie nazwa branży. Jeśli istniejące jezioro albo hurtownia spełnia swoje cele, inwestycję w migrację do data mesh może być trudno uzasadnić.¹⁵

Historie wdrożeń u klientów: jak czytać opisy zastosowań?

Opisy wdrożeń data mesh warto czytać przez pryzmat zakresu zmiany i mierzonego wyniku. To pomaga ocenić ich przydatność dla własnej organizacji. W przykładzie Porto przytoczonym przez Atlan koszty governance, czyli zarządzania zasadami dotyczącymi danych, zmniejszyły się o 40%.²⁰
Wynik Porto nie jest prognozą oszczędności dla innego wdrożenia.

• Zakres wdrożenia ustal, wskazując domeny i zbiory objęte zmianą.
• Miernik wyniku odróżnij od ogólnej deklaracji korzyści i ustal, czego dotyczy podana wartość.
• Warunki porównania oceń, zestawiając odpowiedzialność zespołów i sposób zarządzania danymi z własną organizacją.

Historia wdrożenia pomaga podjąć decyzję, gdy jej zakres i miernik odpowiadają problemowi organizacji.

Najczęściej zadawane pytania

Jak data mesh może wspierać Responsible AI Data Management?

Może zapewnić jasną odpowiedzialność za dane, opis ich znaczenia, reguły jakości i kontrolę dostępu. Sam model nie określa jednak zabezpieczeń specyficznych dla systemów AI.

Które podstawowe pojęcia zarządzania danymi są ważne w data mesh?

Kluczowe są odpowiedzialność domenowa, jakość i opis danych, metadane oraz wspólne reguły zarządzania. Łączą one wiedzę zespołów o źródłach ze spójnym wykorzystaniem danych w organizacji.

Jaką rolę pełni data mesh jako jedna z części „Modern Data Architecture Series”?

Data mesh to model zarządzania, w którym domeny odpowiadają za swoje dane, a wspólne zasady ułatwiają ich wymianę. Nie wymaga, by każda domena przechowywała dane w osobnym miejscu.

Jak „Transforming Data Management with Matillion’s Data Productivity Cloud” wiąże się z data mesh?

Data mesh zakłada samoobsługową platformę zapewniającą narzędzia, standardy i infrastrukturę. Model nie wskazuje konkretnego dostawcy ani nie przesądza, jak jego produkt realizuje te funkcje.

Czy data mesh oznacza, że centralny zespół przestaje być potrzebny?

Nie. Domeny przejmują odpowiedzialność za swoje zbiory, ale wspólne zarządzanie i platforma nadal wspierają standardy oraz pracę między domenami.

Czy każdy odbiorca może pobrać dowolny produkt danych?

Nie. Zasady dostępu określają uprawnionych odbiorców, a dostęp powinien odpowiadać przeznaczeniu danych.

Czy odbiorca musi mieć dostęp do systemu źródłowego, aby korzystać z danych?

Nie. Sposób udostępnienia może pozwalać odbiorcy pracować z danymi bez dostępu do systemu źródłowego.

Jak w data mesh uwzględnić wymóg prawidłowości danych osobowych?

Domeny przetwarzające dane osobowe powinny stosować wspólne reguły wymagające, by dane były prawidłowe i w razie potrzeby aktualizowane.

Ceny i warunki sprawdzone u źródeł: październik 2026.