Data governance i master data — zarządzanie danymi w firmie

Data governance ustala, kto decyduje o danych, co wolno z nimi zrobić i kto za to odpowiada.¹ Obejmuje 5 obszarów w całym cyklu życia danych: dostępność, użyteczność, spójność, integralność i bezpieczeństwo.¹
W artykule wyjaśniamy role, polityki, jakość danych, master data oraz miejsce Data Governance Act.

Czym jest data governance i co obejmuje?

Data governance, czyli nadzór nad danymi, stanowi część Data Management – codziennego zarządzania danymi w organizacji. Ma szerszy zakres niż Data Quality, które skupia się na jakości danych, ale nie obejmuje całego Data Management.²
Jego zadaniem jest ustalenie reguł podejmowania decyzji dotyczących danych³.

Tabela zestawia Data Quality, data governance i Data Management według zakresu oraz przykładowych działań. DAMA-DMBOK2 wyróżnia 11 obszarów wiedzy; data governance i data quality należą do szerszego data management⁴.

Dlaczego firmie potrzebny jest nadzór nad danymi?

Nadzór nad danymi daje zespołom wspólne reguły rozstrzygania sporów o znaczenie i użycie danych. Bez osoby uprawnionej do decyzji mogą one różnie definiować ten sam wskaźnik.
Reguła zatwierdzania definicji wskazuje wersję obowiązującą przed umieszczeniem wskaźnika w raporcie. Firma zmniejsza w ten sposób ryzyko decyzji opartych na nieporównywalnych danych³.

Jakie korzyści daje przypisanie odpowiedzialności za dane?

Przypisanie odpowiedzialności za dane wyjaśnia, kto rozstrzyga wątpliwości, a kto usuwa wykryte błędy. Właściciel danych decyduje o znaczeniu zasobu; osoba pracująca z nim na co dzień identyfikuje problemy i kieruje je do właściwego zespołu.
Prawo do decyzji pozostaje więc oddzielone od zadania technicznego, takiego jak poprawienie rekordu⁵.

Jakie role, zasady, polityki i procesy tworzą system nadzoru nad danymi?

System nadzoru nad danymi łączy role decyzyjne i operacyjne z politykami dostępu, definicjami danych oraz sposobem rozstrzygania sporów. Polityka ustala regułę, a proces opisuje jej zastosowanie, gdy pojawia się nowy zbiór lub błąd. Jasny podział ról wskazuje, kto podejmuje decyzję i kto wykonuje zadanie.
W przypadku danych osobowych art. 5 ust. 2 RODO wymaga od administratora wykazania przestrzegania zasad przetwarzania⁶.

• Właściciel danych decyduje o znaczeniu przypisanego zasobu i dopuszczalnym sposobie jego wykorzystania.
• Data Steward pilnuje stosowania uzgodnionych definicji i kieruje wykryte problemy do rozstrzygnięcia.
• Producent danych tworzy lub dostarcza dane, z których korzystają inne osoby albo systemy.
• Użytkownik danych korzysta z zasobu zgodnie z jego definicją i przyznanymi uprawnieniami.

Przypisane role pomagają przenieść decyzje o danych do codziennej pracy zespołów. Macierz RACI wyróżnia cztery role: Responsible, Accountable, Consulted i Informed. Pomaga oddzielić wykonanie działania od odpowiedzialności za decyzję⁷.

Ryzyka i pułapki przy wprowadzaniu data governance

Problemy zaczynają się wtedy, gdy biznes ustala znaczenie danych, ale zespoły techniczne nie dostają wynikających z tego zadań. Wdrożenie wymaga współpracy obu stron i wsparcia kadry zarządzającej.⁸
Bez uzgodnionej ścieżki rozstrzygania sporów różne definicje tych samych danych mogą utrzymywać się równolegle. W badaniu Precisely i Drexel University 18% respondentów uznało brak wsparcia kierownictwa za przeszkodę dla programu data governance⁹.

Jakich błędów unikać na początku wdrożenia?

Wdrożenie nadzoru nad danymi nie powinno zaczynać się od polityk, jeśli nikt nie ma podejmować decyzji na ich podstawie. Dokument bez właściciela nie rozstrzygnie sporu o definicję ani o wyjątek od reguły.
Najpierw wskaż zasób, osobę uprawnioną do decyzji i sposób zgłaszania problemów. Przy danych osobowych art. 24 ust. 1 RODO zobowiązuje administratora do wdrożenia odpowiednich środków organizacyjnych oraz ich przeglądu i aktualizacji w razie potrzeby⁶.

Co najczęściej blokuje współpracę między zespołami?

Współpracę między zespołami utrudnia niejasna granica decyzji biznesowych i technicznych. Biznes określa znaczenie wskaźnika, a technologia wdraża jego definicję w systemie. Bez ścieżki eskalacji rozbieżność może pozostać nierozwiązana.
Wskaż osobę zatwierdzającą zmianę i sposób przekazania jej do realizacji. W macierzy RACI przypisz każdej decyzji jedną rolę Accountable, odpowiedzialną za wynik i rozstrzygnięcie sporu¹⁰.

Czy mała firma potrzebuje formalnych zasad pracy z danymi?

Mała firma potrzebuje zapisanych reguł dla danych używanych przez więcej niż jedną osobę lub służących do podejmowania decyzji. Przy wyborze między ustnym ustaleniem a zapisem liczy się możliwość odtworzenia decyzji i przekazania obowiązków.
Ustne ustalenie zależy od pamięci uczestników, więc zawodzi, gdy zespół wraca do dawnej decyzji. Zapis wymaga z kolei aktualizacji; bez osoby odpowiedzialnej za zmianę szybko traci użyteczność³.

Które wyobrażenia o nadzorze nad danymi rozmijają się z praktyką?

Nadzór nad danymi to nie zakup narzędzia ani samo napisanie polityki. Narzędzie może zachować definicje, lecz nie wybierze tej obowiązującej. Dokument opisze regułę, ale ktoś musi jeszcze przekazać decyzję osobom pracującym z danymi.
Przy danych osobowych sam zapis także nie wystarcza: art. 5 ust. 2 RODO wymaga od administratora wykazania przestrzegania zasad przetwarzania⁶.

Skuteczny nadzór przypisuje decyzje konkretnym osobom i włącza reguły do pracy zespołów. Postęp można mierzyć odsetkiem krytycznych zbiorów danych, którym przypisano właściciela odpowiedzialnego za dotyczące ich decyzje¹¹.

Jakość danych i analityki: jak oceniać efekty nadzoru?

Jakość danych i działanie nadzoru oceniaj oddzielnie. Sprawdzaj zarówno stan danych używanych do decyzji, jak i to, czy organizacja przestrzega ustalonych reguł. Wymiary jakości to kompletność, unikalność, aktualność, poprawność, adekwatność i spójność.²
Każdy ujawnia inny problem; sam wynik kontroli nie wyjaśnia jeszcze jego przyczyny¹².

Metryki data governance pokazują postęp dokumentowania zasad, standardów i procesów oraz sposób obsługi codziennych zadań.²
Porównanie ich z wynikami kontroli danych pomaga ustalić, czy zespół narusza regułę, czy sama reguła wymaga zmiany. Sprawność procesu pokazuje odsetek zgłoszonych problemów rozwiązanych w terminie uzgodnionym w SLA¹³.

Jak zasady pracy z danymi wpływają na raporty i dashboardy?

Raporty i dashboardy łatwiej interpretować, gdy reguły określają definicję wskaźnika oraz sposób wykrywania błędów w danych wejściowych. Prześledź drogę wybranego wskaźnika od rekordu źródłowego do raportu:¹⁴

• Definicja wskaźnika określa, które rekordy wchodzą do obliczenia. Porównaj ją z regułą zastosowaną w raporcie.
• Kompletność danych kontaktowych wpływa na możliwość przeprowadzenia kampanii CRM. W podanym przykładzie cel kontaktu telefonicznego z 80% klientów pozostaje nieosiągalny, bo brakuje numerów telefonu.²
• Unikalność rekordu klienta wpływa na liczbę klientów w zestawieniu. W przykładzie błędu temu samemu klientowi przypisano 3 rekordy.²

Raport może wspierać decyzję, jeśli definicję wskaźnika powiązano z kontrolą danych użytych do obliczenia. Model ISO/IEC 25012 wyróżnia 15 cech jakości danych pomocnych przy doborze takich kontroli¹⁵.

Jak ocenić dojrzałość zarządzania danymi w firmie?

Dojrzałość zarządzania danymi oceniaj po tym, czy organizacja zapisuje reguły, wykonuje przypisane zadania i reaguje na wyniki kontroli. Data Quality Analyst, czyli analityk jakości danych, może zebrać wyniki kontroli kluczowych pól i przekazać problemy właścicielowi danych.
Może też podać mu odsetek rekordów, których kluczowe pola przeszły ustalone kontrole jakości¹⁶.

• Dokumentacja zasad pokazuje, czy pracownicy korzystają ze wspólnych definicji. Porównaj obowiązujące zapisy z regułami używanymi przez zespoły.
• Obsługa problemów pokazuje, czy zgłoszenie błędu kończy się decyzją i działaniem. Prześledź wybrane zgłoszenie od wykrycia do zamknięcia.
• Kontrola kluczowych atrybutów wskazuje miejsca wymagające interwencji. Wyniki mogą uzasadniać czyszczenie danych albo zmianę systemów, procesów biznesowych lub strategii data governance.²

Efekt nadzoru widać w stanie danych i w sposobie rozwiązywania problemów. Tempo reakcji pokazuje średni czas rozwiązania problemu z jakością danych, mierzony w godzinach lub dniach¹⁷.

Ramy nadzoru nad danymi a korzyści dla organizacji

Ramy data governance porządkują decyzje dotyczące danych, aby zespoły stosowały wspólne reguły w codziennej pracy. Obejmują procedury testowania, audytu i prowadzenia dokumentacji, które pomagają prześledzić działanie programu nadzoru.³
Przykładem dokumentacji jest rejestr czynności przetwarzania danych osobowych przewidziany w art. 30 ust. 1 RODO, z zastrzeżeniem wyjątków⁶.

Deloitte Data Governance Framework obejmuje 6 głównych obszarów.² Rama przydaje się organizacji, gdy pozwala przełożyć ogólne zasady na zadania, odpowiedzialność i rozstrzyganie problemów.
Przy danych osobowych art. 24 ust. 1 RODO wymaga odpowiednich środków technicznych i organizacyjnych oraz ich przeglądu i aktualizacji w razie potrzeby⁶.

Jakie korzyści operacyjne daje uporządkowanie danych?

Uporządkowanie danych skraca wyjaśnienia dotyczące pola lub wskaźnika używanego przez różne zespoły. Wspólna definicja pozwala odróżnić błąd w rekordzie od innego sposobu liczenia wyniku.
Osoba uprawniona do decyzji może rozstrzygnąć rozbieżność bez tworzenia osobnych reguł w każdym dziale³.

Jak spójne dane wspierają decyzje biznesowe?

Spójne dane pozwalają porównywać wyniki, jeśli raporty stosują tę samą definicję analizowanego zjawiska. Przed użyciem ich w decyzji biznesowej wykonaj poniższe działania.
Po zmianie sposobu liczenia wskaźnika sprawdź odsetek pulpitów raportowych korzystających z tej samej zatwierdzonej definicji¹⁸.

• Definicja wskaźnika powinna odpowiadać na konkretne pytanie biznesowe. Ustal, które zdarzenia i rekordy wchodzą do obliczenia.
• Dane źródłowe powinny odpowiadać definicji wskaźnika. Wykryj pola i kategorie interpretowane inaczej w poszczególnych systemach.
• Rozbieżności w raportach wymagają decyzji osoby uprawnionej do zatwierdzenia wspólnej definicji. Zastosuj zatwierdzoną regułę w porównywanych zestawieniach.

Decyzja biznesowa opiera się wtedy na porównywalnych wynikach, nie na różnych interpretacjach tego samego wskaźnika.

Jakie elementy powinny znaleźć się w zasadach nadzoru nad danymi?

Zasady nadzoru nad danymi powinny wskazywać objęte nimi dane, właściciela decyzji, reguły użycia i sposób obsługi wyjątków. Definicja zasobu określa, do czego odnoszą się ustalenia.
Ścieżka rozstrzygania problemów mówi, kto zatwierdza zmianę i kto wprowadza ją do codziennej pracy¹⁹.

Czym są ramy zarządzania danymi i jak je stosować?

Ramy zarządzania danymi łączą zasady z odpowiedzialnością i działaniami dotyczącymi konkretnych zasobów. Aby zastosować ramę w organizacji, przełóż jej założenia na przepływ pracy:

• Zakres ram przypisz do nazwanych zbiorów danych i procesów, które z nich korzystają²⁰.
• Odpowiedzialność za decyzje przypisz osobom zatwierdzającym definicje i wyjątki.
• Sposób działania opisz od zgłoszenia problemu po zastosowanie zatwierdzonej zmiany.

Ramy nadzoru pomagają wtedy, gdy wspólne reguły prowadzą do konkretnych decyzji i działań na danych.

Od polityki do technologii: jak połączyć procesy i narzędzia w pracy z danymi?

Procesy data governance łączą politykę z technologią, gdy wskazana osoba wykonuje działanie wynikające z reguły w konkretnym systemie. Obejmują zarządzanie metadanymi, czyli opisami danych, poprawę jakości, audyt dostępu i śledzenie przepływu od źródła do miejsca użycia.^19,21

• Reguła powinna wskazywać zasób, którego dotyczy. Zapisz, jaką decyzję wspiera i kto ją zatwierdza.
• Wykonanie reguły należy przypisać osobie lub zespołowi pracującemu w danym systemie. Oddziel zatwierdzenie zmiany od jej technicznego wprowadzenia.
• Kontrola powinna działać tam, gdzie można wykryć naruszenie reguły. Określ odbiorcę informacji o problemie.
• Wynik kontroli powinien prowadzić do działania naprawczego. Zachowaj decyzję, by zespół mógł zastosować tę samą regułę przy kolejnym zgłoszeniu.

Polityka danych działa w praktyce, gdy reguła, odpowiedzialność, kontrola i reakcja tworzą jeden proces.

Jak wdrożyć data governance i rozwijać je wraz z firmą?

Data governance wdrażaj najpierw dla danych potrzebnych do konkretnej decyzji biznesowej. Później rozszerzaj reguły na kolejne zasoby. Procesy i technologie dopasuj do istniejącej struktury oraz warunków organizacji.⁸
Takie wdrożenie rozwija się stopniowo; nie da się go przeprowadzić z dnia na dzień.⁸

Od czego zacząć wdrożenie zasad zarządzania danymi?

Wdrożenie zasad zarządzania danymi zacznij od zasobu, którego niejasna definicja lub błędy utrudniają pracę. Wskaż decyzję zależną od tych danych i osobę zatwierdzającą ich definicję. Zapisz też sposób zgłaszania rozbieżności, by użytkownicy wiedzieli, komu przekazać problem.

Jak dopasować zakres nadzoru do skali i potrzeb organizacji?

Zakres nadzoru nad danymi dopasuj do liczby korzystających z nich zespołów i skutków błędu dla decyzji biznesowej. W tym celu wykonaj następujące działania:²²

• Użytkownicy zasobu to zespoły tworzące dane lub korzystające z nich w pracy. Wskaż, które zespoły należą do każdej grupy.
• Skutek błędu powiąż z decyzją, raportem albo procesem zależnym od danych.
• Zakres zasad ogranicz do definicji, uprawnień i ścieżek rozstrzygania potrzebnych dla wybranego zasobu²³.

Nadzór obejmie wówczas problemy ważne dla organizacji, bez nakładania jednakowych procedur na każdy zbiór.

Jak utrzymać zasady w codziennej pracy i je aktualizować?

Zasady pracy z danymi utrzymuj, łącząc zgłoszenia użytkowników z decyzją o zmianie reguły albo poprawie danych. Włącz do obsługi problemów następujące czynności:¹⁹

• Zgłoszenie rozbieżności powinno trafić do osoby odpowiedzialnej za decyzję dotyczącą zasobu.
• Decyzja o zmianie powinna zostać zapisana wraz z definicją, której dotyczy.
• Zatwierdzona reguła powinna trafić do zespołów stosujących ją w systemach i raportach.

Aktualizacja zasad kończy się dopiero wtedy, gdy użytkownicy pracują według zatwierdzonej reguły.

Które praktyki pomagają przejść od planu do działania?

Przejście od planu do działania ułatwia przypisanie każdej regule właściciela decyzji, wykonawcy i sposobu zgłaszania wyjątków. Biznes określa znaczenie danych, IT wprowadza zatwierdzone zmiany, a kadra zarządzająca rozstrzyga spory o priorytety między zespołami.
Pracę nad kolejnym zasobem rozpocznij po zastosowaniu ustaleń dotyczących bieżącego.

Rozwój data governance oznacza stosowanie przyjętych reguł i rozszerzanie ich tam, gdzie pojawia się konkretna potrzeba biznesowa.

Jaki model data governance wybrać: scentralizowany, federacyjny czy zdecentralizowany?

Model data governance dobierz do miejsca podejmowania decyzji, samodzielności zespołów i sposobu utrzymania wspólnych definicji. Te kryteria pomagają dopasować uprawnienia do codziennej pracy organizacji.

Tabela porównuje modele scentralizowany, federacyjny i zdecentralizowany pod względem decyzji, samodzielności, definicji i ograniczeń.

Przy wyborze modelu liczy się również miejsce rozstrzygania sporów. Tabela wskazuje, kto zajmuje się nimi przy każdym podziale uprawnień.

Podział odpowiedzialności między nadzorem a codziennym zarządzaniem danymi

Data governance określa, kto może decydować o danych. Codzienne zarządzanie danymi przekłada te decyzje na działania w systemach i procesach. Formalne przypisanie praw decyzyjnych należy do głównych zadań data governance.¹
Data Owners, czyli właściciele danych, zatwierdzają reguły dla przypisanych zasobów; zespoły operacyjne stosują je w pracy.

Jakie trudności pojawiają się na styku zasad i codziennych zadań?

Podział odpowiedzialności zawodzi, gdy reguła określa wymagany wynik, ale nie wskazuje osoby rozstrzygającej wyjątek. Pracownik wykryje błędny rekord, lecz bez ścieżki decyzji nie wie, czy może go zmienić.
Problem powstaje także wtedy, gdy właściciel zatwierdzi definicję, ale zespół utrzymujący system nie otrzyma zadania jej wdrożenia.

Po czym poznać, że przyjęte rozwiązanie działa w praktyce?

Przyjęty podział odpowiedzialności działa, gdy zgłoszenie prowadzi do decyzji właściciela danych, wykonania zmiany i przekazania wyniku użytkownikowi. Na każdym etapie powinno być wiadomo, kto zdecydował i kto wykonał zadanie.
Jeżeli zgłoszenia zatrzymują się po drodze, doprecyzuj sposób przekazania pracy, a nie tylko treść reguły.

Nadzór określa, co wolno zrobić z danymi; codzienne zarządzanie zapewnia wykonanie tej decyzji.

Narzędzia data governance i decyzje o nadzorze

Narzędzia data governance pomagają stosować zasady, ale nie ustalą, które dane nimi objąć ani kto za nie odpowiada. Ich wybór powinien wynikać z potrzeb i celów organizacji.²
Oddziel wymagania wobec technologii od odpowiedzialności za tworzenie i stosowanie polityk.

Do czego służą narzędzia wspierające nadzór nad danymi?

Narzędzia data governance mogą automatyzować wykrywanie i klasyfikację danych, katalogowanie, zarządzanie metadanymi oraz śledzenie pochodzenia.³ Śledzenie pochodzenia danych pokazuje, skąd dane trafiły do używanego zbioru.
Wynik pracy narzędzia trzeba jednak odczytać w świetle reguł przyjętych przez organizację.

Jak uporządkować zasady korzystania z narzędzi?

Zasady korzystania z narzędzi powiąż z zadaniem, osobą odpowiedzialną i decyzją, której ma służyć wynik pracy systemu. Uporządkuj je tak:

• Cel użycia narzędzia powinien wynikać z konkretnego problemu z danymi. Opisz wynik potrzebny osobie podejmującej decyzję.
• Uprawnienia użytkowników powinny odpowiadać wykonywanym czynnościom. Oddziel przeglądanie informacji od zatwierdzania zmian.
• Obsługa wyników wymaga osoby oceniającej wykryty problem. Określ, dokąd skieruje go do rozstrzygnięcia.

Narzędzie wspiera nadzór, gdy jego wynik dociera do osoby uprawnionej do działania.

Kto odpowiada za nadzór nad danymi w organizacji?

Data Steward pilnuje przestrzegania procesów zarządzania danymi, egzekwuje je i proponuje ulepszenia.¹ Właściciel rozstrzyga sprawy dotyczące przypisanego zasobu, a zespoły pracujące w systemach wykonują zatwierdzone działania.
Taki podział pozwala wskazać odpowiedzialnych zarówno za decyzję, jak i za jej zastosowanie.

Jaką rolę pełni komitet ds. danych?

Komitet ds. data governance tworzy polityki dotyczące danych w organizacji.²¹ Ustala wspólne reguły, gdy decyzja dotyczy więcej niż jednego obszaru.
Osoby odpowiedzialne za zasoby stosują te reguły do konkretnych danych i zgłaszają sprawy wymagające uzgodnień między zespołami.

Nadzór nad danymi potrzebuje narzędzi do obsługi informacji oraz ludzi uprawnionych do podejmowania decyzji.

Standardy danych, polityki i procesy: co trzeba ustalić?

Polityki i zasady data governance określają, kto decyduje o danych. Standardy danych mówią, jak zespoły je definiują i zapisują, a procesy opisują zgłaszanie oraz rozstrzyganie odstępstw. Standard pola klienta powinien podawać jego znaczenie i format używany w systemach.
Dzięki standardom zespoły posługują się wspólnym językiem biznesowym i analizują dane z różnych systemów w tym samym formacie.²

Polityka ustala regułę, a proces wskazuje osobę zatwierdzającą wyjątek i drogę przekazania decyzji zespołom. Wspólne definicje są przydatne, gdy obowiązują zarówno przy wprowadzaniu danych, jak i podczas analizy.

Prywatność, bezpieczeństwo i zgodność: miejsce Data Governance Act

Data Governance Act jest unijnym rozporządzeniem dotyczącym określonych zasad udostępniania danych. Nie zastępuje firmowych polityk prywatności ani bezpieczeństwa. RODO reguluje przetwarzanie danych osobowych, a wymogi dla podmiotów nadzorowanych przez KNF zależą od działalności organizacji.
Firma powinna osobno ustalić podstawę udostępnienia danych, reguły dostępu i obowiązki wynikające z właściwych regulacji.

Zgodność z regulacjami wymaga stosowania zasad, nie tylko ich zapisania. W badaniu IDC 45,3% respondentów zadeklarowało posiadanie zasad i procesów ich egzekwowania dla odpowiedzialnej AI. Wynik dotyczy odpowiedzialnej AI, a nie zgodności z Data Governance Act.³
Zakres Data Governance Act oceniaj osobno od RODO i firmowych zasad bezpieczeństwa.

Niespójna architektura danych: skąd biorą się rozbieżności?

Niespójna architektura danych prowadzi do rozbieżności, gdy systemy inaczej identyfikują obiekt, zapisują odmienne wartości pól lub stosują różne reguły aktualizacji. Data Architect, czyli osoba projektująca strukturę i przepływ danych, może wskazać miejsce, w którym definicje zaczynają się różnić.
Nieodpowiednia architektura i brak właściwych narzędzi mogą utrudniać wdrożenie data governance.³

Master Data Management (MDM) porządkuje wspólne dane podstawowe, w tym identyfikatory i reguły aktualizacji obiektów takich jak klient czy produkt. Przy rozbieżnych rekordach klienta organizacja ustala, który system podaje obowiązującą wartość i jak przekazuje zmianę pozostałym.
Spójność danych wymaga zgodnych definicji obiektów oraz uzgodnionego przepływu zmian między systemami.

Widoczność i kontrola danych w różnych systemach

Data Lineage pokazuje przepływ informacji między systemami, a zarządzanie metadanymi łączy zbiory z ich opisami i definicjami. Śledząc pochodzenie, można ustalić źródło danych, ich przekształcenia i drogę przepływu oraz znaleźć przyczynę błędu.²⁴

Kontrola danych wymaga powiązania pola w raporcie z polem źródłowym i regułą użytą po drodze. Jeśli wartości się różnią, zapis przepływu wskazuje miejsce przekształcenia. Opis danych pomaga zaś sprawdzić, czy systemy używają tej samej definicji.
Widoczność przepływu pozwala znaleźć miejsce błędu zamiast poprawiać wyłącznie wynik w raporcie.

Talend jako przykład produktu: co sprawdzić przed wyborem narzędzia?

Talend oceniaj pod kątem potrzeb firmy związanych z integracją źródeł, jakością danych i kontrolą zmian. Talend wspiera data governance przez katalogowanie, monitorowanie zgodności, audyt zmian, integrację źródeł i automatyczną kontrolę polityk jakości.²⁴
Przed wyborem wskaż źródła do połączenia, obowiązujące reguły jakości i osobę analizującą wyniki kontroli.

Decyzja o narzędziu powinna wynikać z zakresu nadzoru. Katalogowanie i audyt nie zastąpią osób odpowiedzialnych za definicje oraz rozstrzyganie wykrytych problemów.

Katalog danych: jak ułatwia odnajdywanie i rozumienie zasobów?

Katalog danych pomaga znaleźć zasoby dzięki zebranym opisom, a słownik danych wyjaśnia użyte w nich pojęcia. Katalog zwiększa dostępność informacji i ułatwia współpracę użytkowników.²⁴
Słownik ustala znaczenie terminów, aby zespoły interpretowały je spójnie.²⁴

• Zasób w katalogu danych powinien mieć nazwę, lokalizację i wskazaną osobę odpowiedzialną. Użytkownik wie wtedy, gdzie szukać zbioru.
• Termin w słowniku danych powinien być powiązany z polami i wskaźnikami, w których występuje. Użytkownik poznaje jego znaczenie bez zgadywania na podstawie nazwy kolumny.
• Data Lineage powinno być powiązane z opisanym zasobem. Pokazuje użytkownikowi drogę danych od źródła do miejsca wykorzystania.

Katalog pomaga znaleźć zasób, słownik wyjaśnia jego znaczenie, a Data Lineage pokazuje przepływ.

Audyt uprawnień: kto ma dostęp do danych i na jakiej podstawie?

Zarządzanie dostępem ustala, kto może korzystać z danych i na jakiej podstawie. Wymaga porównania przyznanych uprawnień z obowiązkami pracownika i zatwierdzoną regułą. Audyt dotyczy zarówno zakresu praw, jak i rzeczywistego użycia danych.
Rejestry audytowe zapisują interakcje z danymi i pomagają analizować sposób ich używania przez pracowników.³

Audyt dostępu łączy każde uprawnienie z osobą, zasobem, dozwolonymi czynnościami i decyzją o jego przyznaniu. Porównanie tej decyzji z rejestrem użycia ujawnia prawa niedopasowane do obecnych zadań.
Wynik audytu wskazuje uprawnienia, które należy zachować, zmienić lub odebrać.

Udostępnianie danych między zespołami bez utraty kontroli

Udostępnianie danych między zespołami wymaga wskazania dostawcy danych, odbiorcy i celu dostępu. Data Producers to producenci danych, a Data Users to ich użytkownicy. Rozpoznanie obu grup pomaga ustalić przepływ danych i odpowiedzialność za niego.²

Zakres dostępu powinien wynikać z zadań odbiorcy, nie z samej przynależności do zespołu. Programy data governance przydzielają dostęp stosownie do potrzeb działów i użytkowników.³
Gdy zbiór trafia do innego zespołu, właściciel określa dopuszczalny sposób użycia, a odbiorca dostaje potrzebne uprawnienia.

Kontrola nad udostępnianiem łączy odbiorcę i cel użycia z zakresem przyznanych praw.

Cztery filary ram nadzoru nad danymi

Strategia data governance może porządkować pracę firmy według odpowiedzialności, zasad, procesów i kontroli. To praktyczny sposób planowania nadzoru, a nie nazwa obowiązującego standardu.
Każdy filar odpowiada na inne pytanie: kto decyduje, jaka reguła obowiązuje, jak ją stosować i jak ocenić jej działanie.

• Odpowiedzialność wskazuje osoby decydujące o konkretnych zasobach. Wyjaśnia też, komu przekazać spór o znaczenie danych.
• Zasady ustalają wspólne definicje i dopuszczalne sposoby użycia danych. Pomagają rozstrzygać wyjątki.
• Procesy opisują drogę od zgłoszenia problemu do zastosowania zatwierdzonej decyzji. Łączą decyzję właściciela z pracą zespołów.
• Kontrola pokazuje, czy zespoły przestrzegają reguł i rozwiązują problemy. Jej wyniki mogą wskazać zasady wymagające zmiany.

Ramy nadzoru mają sens, gdy każdy filar pomaga w pracy z konkretnymi danymi.

Rola Chief Data Officera w ustalaniu odpowiedzialności za dane

Chief Data Officer (CDO) kieruje podejściem organizacji do danych i ustala sposób przypisywania odpowiedzialności za zasoby współdzielone przez zespoły. Wskazuje, które decyzje należą do właściciela zasobu, a które wymagają uzgodnień między obszarami.
Nie zastępuje właścicieli w rozstrzyganiu spraw dotyczących ich zbiorów.

Podział jest czytelny, gdy dla każdego współdzielonego zasobu wiadomo, kto zatwierdza definicję, kto wdraża zmianę i kto rozstrzyga spór. CDO koordynuje ten podział w organizacji, a właściciele stosują go przy konkretnych decyzjach.
Rola CDO polega na utrzymywaniu jasnych granic uprawnień, nie na przejmowaniu każdej decyzji o danych.

Databricks a współdzielenie danych: jakie potrzeby uwzględnić przy ocenie?

Databricks oceniaj w odniesieniu do zbiorów, które firma chce współdzielić, ich odbiorców oraz osób zatwierdzających dostęp. Osobno określ potrzeby zespołów tworzących dane i tych, które używają ich w analizach.
Dla każdego zbioru wskaż właściciela, cel udostępnienia i czynności dozwolone odbiorcy.

Ocena współdzielenia danych powinna objąć przekazywanie zmian w zbiorze oraz odbieranie dostępu po ustaniu potrzeby biznesowej. Porównaj wymagany sposób pracy z możliwościami konkretnego produktu i planu. Sama platforma nie rozstrzygnie, kto odpowiada za dane.

Databricks warto rozważyć wtedy, gdy kryteria wyboru wynikają z ustalonych zasad udostępniania danych, a nie z nazwy narzędzia.