Data Catalog – co to jest, jak działa i dlaczego Twoja firma go potrzebuje?

Regulatorzy coraz częściej nakładają na przedsiębiorstwa wielomilionowe kary za brak przejrzystości w zarządzaniu danymi. Na przykład, w Polsce od momentu wejścia w życie przepisów RODO nałożono na polskie firmy 74 kary na łączną kwotę ponad 3,5 miliona euro.

Jednak wymagania regulacyjne to nie jedyny czynnik wpływający na potrzebę lepszego zarządzania danymi i troski o ich jakość. Równie ważne są kwestie cyberbezpieczeństwa, kontroli nad danymi, uprawnieniami i wykorzystaniem danych oraz typowo biznesowe aspekty, takie jak wpływ jakości danych na wiarygodność analiz i trafność decyzji, a tym samym na bezpośredni wynik finansowy przedsiębiorstwa.

W celu sprostania tym wymaganiom powstały regulacje znane jako Data Governance. Same zasady, regulacje nie będą jednak w żaden sposób przydatne, jeśli nie będą użyteczne w codziennej pracy, a przede wszystkim jeśli ich stosowanie będzie przeszkadzać i generować dodatkowe, nadmierne koszty.

Dlatego świat IT bardzo szybko wytworzył dedykowane produkty mające wspierać Data Governance. Produkty te można zbiorczo nazwać Katalogiem Danych (ang. Data Catalog) jako jednym z kluczowych elementów Data Governance.

Czym jest Data Catalog?

O ile Data Governance traktujemy jako zbiór zasad, procesów i standardów dotyczących zarządzania danymi, mający na celu zapewnienie ich jakości, bezpieczeństwa, zgodności z regulacjami oraz efektywnego wykorzystania, to Data Catalog jest narzędziem wspierającym to zarządzanie w obszarze organizowania, klasyfikowania i udostępniania informacji o danych w firmie.

Aspekty Data Governance wspierane przez Data Catalog to:

• Jakość danych – rozumiana jako identyfikacja problemów z jakością poprzez śledzenie źródeł danych i reguł walidacji.
• Zarządzanie dostępem – kontrola, kto ma dostęp do danych, poprzez integrację z systemami uprawnień.
• Zarządzanie metadanymi – Data Catalog zawiera szczegółowe informacje o metadanych, takich jak źródło, struktura, typy danych i ich powiązania.
• Własność i odpowiedzialność – definiuje właścicieli i opiekunów danych (Data Owner, Data Steward), co wspiera przypisywanie ról.
• Integracja i interoperacyjność – katalog ułatwia znajdowanie i łączenie danych z różnych systemów.
• Edukacja i świadomość – pomaga użytkownikom biznesowym i IT lepiej rozumieć dostępne dane oraz ich kontekst.

Korzyści z wdrożenia rozwiązania Data Catalog

W założeniach, wdrożenie rozwiązania typu Data Catalog powinno szybko uporządkować przepływ danych w organizacji, często różnorodnych i chaotycznych. Zyskiem z uporządkowania będzie pewność, że posiadane dane trafiają tylko do odpowiednich osób, na przykład chronione dane osobowe są dostępne wyłącznie dla wąskiego grona pracowników.

Podczas gdy Data Governence zaleca wskazanie osób odpowiedzialnych za dane, to Data Catalog pomoże w zarządzaniu ich uprawnieniami. W efekcie dając łatwą kontrolę dostępów do struktur danych przedsiębiorstwa. Samo ograniczenie nadmiernego dostępu zmniejszy ryzyko wycieku danych, za co grożą dotkliwe kary finansowe, czy utrata wizerunku organizacji w oczach kontrahentów.

Data Catalog umożliwi ponadto zidentyfikowanie podobnych informacji znajdujących się w kilku systemach oraz pozwoli na wypracowanie tzw. Master Data opisującego wybrane zagadnienie biznesowe w oparciu o różne systemy źródłowe.

Zamiast niepewności, gdzie szukać wybranych informacji, skąd najlepiej je odczytać, aby były pewne i aktualne, otrzymamy narzędzie wskazujące na właściwe źródło danych, co w wielu przypadkach skróci czas analizy i poszukiwania w przypadku np. budowy nowego raportu zamówionego przez jednostkę nadrzędną.

Dzięki wbudowanym mechanizmom kontroli i weryfikacji danych, w łatwy sposób można wychwytywać niespójności, dane zdublowane czy nawet braki w danych również w zakresach nie przewidzianych przez producenta jakiegoś systemu podpiętego do Data Catalog. Mechanizm pozwoli zatem unikać wszelkich naruszeń i często kosztownych korekt danych w posiadanych systemach.

Kolejny obszar korzyści z wdrożenia Data Catalog dotyczy identyfikacji pochodzenia danych. Jest to przydatne w sytuacji starych raportów czy zestawień, które po kilku latach choć nadal są potrzebne to nie mają w pełni udokumentowanej wiedzy o źródle danych.

Dzięki rozwiązaniom spotykanym w narzędziach Data Catalog istnieje możliwość prześledzenia pochodzenia danych, nie tylko pomiędzy poszczególnymi raportami, ale przekrojowo od systemu źródłowego przez wszystkie procesy jakimi te dane podlegają.

Mając pełen obraz przepływu danych zyskujemy szybki dostęp do jednolitych informacji w całej firmie, a komunikacja pomiędzy działami jest usprawniona. Korzyść jest oczywista – szybsze i bezpieczniejsze podejmowanie decyzji oraz poprawa współpracy pomiędzy zespołami pracującymi z danymi.

Ewolucja rozwiązań typu Data Catalog

Rozwiązania typu Data Catalog na przestrzeni lat przeszły przez różne poziomy zaawansowania. Można wyróżnić cztery generacje Data Catalog.

• Pierwsza generacja – Ręczne katalogi danych

Czyli proste katalogi danych, często w postaci plików tekstowych, arkuszy Excel lub baz danych, gdzie użytkownicy ręcznie dokumentowali metadane. Bezpośrednio zależne od ręcznej aktualizacji i bardzo podatne na błędy i nieaktualne dane.

Przykład: plik Excel

• Druga generacja – Klasyczne narzędzia Data Catalog, katalogi zautomatyzowane

To dedykowane software’owe rozwiązania do zarządzania metadanymi i katalogowania danych. Mają uproszczone wyszukiwanie i klasyfikację danych, możliwość integracji z bazami danych oraz podstawowe mechanizmy kontroli dostępu.

Przykład: IBM Watson Knowledge Catalog

• Trzecia generacja – Inteligentne Data Catalogi z AI/ML

Posiadają możliwości automatycznego wykrywania, klasyfikacji i wzbogacania metadanych przy użyciu sztucznej inteligencji i uczenia maszynowego. Cechuje je automatyczna klasyfikacja i tagowanie danych, wyszukiwanie semantyczne (oparte na kontekście) a także wsparcie dla chmury i środowisk hybrydowych.

Przykład: Alation, Microsoft Purview, DataEdo Data Catalog

• Czwarta generacja – Dynamiczne, zintegrowane platformy Data Governance

Nowoczesne, kompleksowe rozwiązania łączące Data Catalog, Data Governance, Data Lineage, Data Privacy i Data Quality w jednym miejscu. Charakteryzuje je automatyzacja zarządzania danymi, integracja z data lakes, hurtowniami danych i strumieniowym przetwarzaniem danych, dynamiczne aktualizowanie metadanych, mechanizmy DataOps i zarządzania danymi w czasie rzeczywistym.

Przykład: Collibra Data Intelligence Cloud, Informatica Axon

Wybrane narzędzia Data Catalog – porównanie

Wszystko byłoby proste, gdyby na rynku dostępne było jedno narzędzie spełniające te wymagania. Jednakże takich narzędzie jest wiele, a różnice między nimi często tkwią w szczegółach. Dla wielu organizacji ostatecznie kluczowe stają się różnice dotyczące kosztów wdrożenia i utrzymania danego rozwiązania.

Oto kilka popularnych narzędzi do Data Catalog, które wspierają zarządzanie metadanymi i ułatwiają organizację danych w ramach Data Governance:

Komercyjne narzędzia Data Catalog

• Collibra Data Catalog – Zaawansowane narzędzie do zarządzania metadanymi, integracji z systemami i automatyzacji Data Governance.
• Alation Data Catalog – Inteligentny katalog danych wykorzystujący AI do ułatwienia odkrywania i zarządzania danymi.
• Informatica Enterprise Data Catalog – Silne narzędzie z funkcjami automatycznej klasyfikacji i integracji z różnymi systemami.
• IBM Watson Knowledge Catalog – Rozwiązanie od IBM, łączące katalogowanie danych z analityką i AI.
• Microsoft Purview (dawniej Azure Data Catalog) – Narzędzie Microsoft do zarządzania metadanymi w chmurze i on-premise.
• Dataedo Data Catalog – polski produkt konkurujący swoją funkcjonalnością z Microsoft Purview

Open-source lub darmowe narzędzia wspierające zagadnienia Data Catalog

• Apache Atlas –rozwiązanie do zarządzania metadanymi, często używane w ekosystemie Hadoop.
• Amundsen (LF AI & Data) – Opracowane przez Lyft, koncentruje się na łatwym wyszukiwaniu danych i zarządzaniu metadanymi.
• DataHub (LinkedIn) – Nowoczesny katalog danych z funkcją automatycznego wykrywania i zarządzania metadanymi.
• Metacat (Netflix) – Narzędzie opracowane przez Netflix, wspierające metadane dla różnych źródeł danych.

Koszt vs korzyści – czyli jak wybrać odpowiednie narzędzie Data Catalog?

W celu wyboru dobrego i dopasowanego do potrzeb narzędzia warto przygotować własne kryteria jego oceny oraz nadać im wagę. Przykładając te kryteria do listy podanych powyżej narzędzi, zawęzimy wybór do 2–3 pozycji, z których końcowa decyzja będzie w dużej części podyktowana możliwościami budżetowymi.

Wśród kryteriów branych pod uwagę przy wyborze dostawcy rozwiązania Data Catalog warto uwzględnić następujące aspekty:

• FIRMA I JEJ DOŚWIADCZENIE – czas doświadczenia operacyjnego, udokumentowane osiągnięcia, uporządkowane harmonogramy wdrożeń
• KATALOG DANYCH I ODKRYWANIE – Zdolność do automatycznego odkrywania, katalogowania i klasyfikowania danych, definiowanie i zarządzanie terminami biznesowymi, funkcje, które umożliwiają użytkownikom komentowanie, dzielenie się opiniami, funkcjonalności zaawansowanego wyszukiwania czy wreszcie intuicyjny i przyjazny dla użytkownika interfejs
• ŹRÓDŁA DANYCH I INTEGRACJA – Bezproblemowa integracja z głównymi bazami danych, integracja z Azure Blob Storage i Azure Data Lake Storage, integracja z systemami przedsiębiorstwa, zapewnienie zgodności i integracji z różnymi formatami plików,
• JAKOŚĆ DANYCH – Profilowanie danych, ocena jakości danych, reguły walidacji danych, wykrywanie anomalii, monitorowanie
• ZARZĄDZANIE DANYMI MASTER – Zarządzanie metadanymi, zarządzanie wersjami, diagramy Entity Relationship, zarządzanie dostępem
• ARCHITEKTURA, SKALOWALNOŚĆ I ELASTYCZNOŚĆ – Opcja lokalna, łatwość wdrożenia, elastyczność
• PRZEWIDYWALNOŚĆ KOSZTÓW I PRZEJRZYSTOŚĆ – jasne i przejrzyste reguły kosztowe licencji, przewidywalność kosztów w przypadku dalszej rozbudowanych własnych systemów

Data Catalog – analiza porównawcza wybranych rozwiązań

Poniższa tabela przedstawia szybkie porównanie wybranych, popularnych narzędzi do katalogowania danych. Mamy nadzieję, że jest ono dobrym podsumowaniem powyższych rozważań i pomoże we własnej analizie dostępnych systemów.

Wdrożenie Data Catalog – podsumowanie

Wdrożenie Data Catalog pozwala organizacjom na lepsze zarządzanie danymi, zwiększenie ich bezpieczeństwa i poprawę efektywności operacyjnej. Wybór odpowiedniego narzędzia zależy od specyficznych potrzeb organizacji, a kluczowe znaczenie mają integracja, automatyzacja oraz koszty wdrożenia i utrzymania.

Jeśli Twoja organizacja stoi przed decyzją czy wdrażać jakieś rozwiązanie Data Catalog wspierające Data Governance, zachęcamy do kontaktu.

Na podstawie przygotowanych przez nas kryteriów pomożemy zawęzić listą opcji branych pod uwagę, zarekomendujemy to, które dla Twojej organizacji będzie najoptymalniejsze zarówno pod względem funkcjonalnym jak i finansowym. Jeśli będą takie potrzeby, pomożemy Ci wdrożyć wybrane narzędzie, a także przeprowadzić wstępne katalogowanie Twoich struktur danych.