Data lake — czym różni się od hurtowni danych

Data lake przechowuje dane w ich naturalnej postaci (raw data), bez wcześniejszego narzucania struktury lub formatu. Tym różni się od hurtowni danych.¹
Według przytoczonego badania Aberdeen firmy korzystające z data lake osiągały o 9% większy organiczny wzrost przychodów niż konkurenci z tego samego sektora.² Artykuł wyjaśnia także architekturę lakehouse oraz zastosowania obu rozwiązań.³

Czym jest data lake?

Data lake gromadzi w jednym miejscu materiał z różnych źródeł, w tym dane ustrukturyzowane i częściowo ustrukturyzowane.^1,4 Pierwsze mają ustalony układ pól. Drugie zawierają elementy opisujące zawartość, choć nie muszą mieścić się w jednej tabeli.
Jezioro może przechowywać pliki CSV, JSON, Avro, ORC i Parquet. Amazon Athena pozwala je analizować.⁵

Data lake oddziela przechowywanie od późniejszej analizy. Zespół zachowuje materiał wejściowy, a model danych przygotowuje pod konkretne zapytanie lub raport.
Amazon Athena analizuje dane bezpośrednio w S3. W modelu opłat za skanowanie zapytanie odczytujące 1 TB kosztuje 5 USD.⁶

Data warehouse, czyli hurtownia danych, służy przede wszystkim do pracy na danych przygotowanych według uzgodnionego modelu. Wybór zależy od celu zespołu: spójnych raportów albo zachowania materiału do różnych analiz. Amazon Redshift Serverless rozlicza obliczenia w RPU-godzinach. Amazon Athena może z kolei naliczać opłaty według TB przeskanowanych danych.⁷

Jak działa zapis i odczyt danych w data lake?

Data lake zapisuje dane, lecz strukturę potrzebną do analizy określa dopiero przy odczycie. To podejście, zwane schema on read, zachowuje surowy materiał i pozwala przypisywać mu metadane, czyli opisy ułatwiające identyfikację.⁴
Surowy plik w Amazon S3 można na przykład opisać znacznikami. Jeden obiekt może mieć ich najwyżej 10.⁸

• Zapis danych umieszcza materiał ze źródła w warstwie przechowywania, bez dopasowywania go do docelowego raportu.
• Katalogowanie danych opisuje zbiory, dzięki czemu użytkownik może znaleźć potrzebny materiał i rozpoznać jego pochodzenie.
• Odczyt danych nadaje zbiorowi strukturę potrzebną do konkretnego zapytania lub procesu analitycznego.

Schema on read pozwala analizować ten sam zapis według różnych modeli. Zespół nie musi w tym celu zastępować materiału wejściowego gotową tabelą raportową.

Jakie dane gromadzi data lake i czym różni się od hurtowni danych?

Data lake przyjmuje materiał do różnych analiz, a data warehouse porządkuje dane według ustalonego modelu raportowania. Przy wyborze liczą się moment nadania struktury, zastosowanie i ograniczenia obu architektur.
W regionie Północna Wirginia przechowywanie kosztuje 0,023 USD za GB miesięcznie w S3 Standard i 0,024 USD w Redshift. Porównanie nie obejmuje zapytań.⁹

Tabela zestawia koszt przechowywania, moment nadania struktury, zastosowanie i ograniczenia data lake oraz hurtowni danych.

Data lake i hurtownia mogą działać w jednym środowisku. Jezioro zachowuje materiał do dalszej pracy, a hurtownia udostępnia uporządkowany model raportowy.
Taką współpracę umożliwia Redshift Spectrum. Przy klastrze RA3 nalicza 5 USD za 1 TB danych przeskanowanych w S3.¹⁰

Kiedy warto stosować data lake?

Data lake odpowiada organizacji, która chce zbadać różnorodne źródła przed ustaleniem docelowego modelu raportowania. Mogą to być logi aplikacyjne, działania użytkowników, media społecznościowe i urządzenia podłączone do internetu.²
Przy pobieraniu danych z urządzeń trzeba uwzględnić limity źródła. W AWS IoT Core ładunek wiadomości MQTT nie może przekroczyć 128 KB.¹¹

Jezioro danych ułatwia eksplorację i ponowne wykorzystanie materiału wejściowego. Gdy zespół tworzy wyłącznie powtarzalne raporty o stałych definicjach, hurtownia odpowiada temu zadaniu bardziej bezpośrednio.
Koszt zapytań też ma znaczenie przy częstym raportowaniu. W modelu opłat za skanowanie pojedyncze zapytanie Athena odczytujące 1 TB kosztuje 5 USD.⁶

Za co odpowiadają warstwy przechowywania, przetwarzania i katalogowania danych?

Warstwa przechowywania utrzymuje zbiory, warstwa przetwarzania przygotowuje je do analiz, a warstwa katalogowania opisuje zawartość i pochodzenie. Taki podział oddziela dane wejściowe od wyników transformacji.
Przy projektowaniu przetwarzania trzeba pamiętać o limicie Athena. Pojedyncze zapytanie CTAS może utworzyć najwyżej 100 partycji.¹²

Katalog danych pomaga znaleźć zbiór, ale nie zastępuje kontroli jakości. Przetwarzanie nadaje danym postać przydatną analitykowi lub modelowi raportowemu.
Jakość wymaga osobnych reguł. Edytor DQDL w AWS Glue Studio udostępnia 26 wbudowanych typów reguł.¹³

Architektura data lake zachowuje różne dane wejściowe. Strukturę nadaje im dopiero na potrzeby wybranej analizy.

Od pierwszych wdrożeń do współczesnej architektury

Data lake nie jest już tylko miejscem gromadzenia danych. Architektura obejmuje także katalogowanie, przetwarzanie i kontrolę dostępu, dzięki czemu zespoły mogą korzystać ze zbiorów bez osobnego magazynu dla każdego z nich.
Punktem odniesienia pozostaje rok 2010. Wtedy James Dixon opisał koncepcję data lake na swoim blogu.¹⁴

Architektura jeziora danych określa drogę danych do magazynu, zasady odczytu i sposób ustalania ich pochodzenia. Organizacja może dzięki temu udostępniać wspólne źródło różnym interesariuszom zamiast utrzymywać odizolowane silosy.²
Według cennika AWS Glue Data Catalog przechowywanie pierwszego miliona obiektów metadanych jest bezpłatne.⁷

Wspólne źródło danych nie daje każdemu odbiorcy dostępu do wszystkich zbiorów. Uprawnienia powinny odpowiadać jego roli. Katalog i reguły dostępu pozwalają zespołom korzystać z tego samego zasobu bez kopiowania go do kolejnych silosów.

Jak działają współczesne jeziora danych?

Współczesne jezioro danych łączy przyjmowanie zbiorów z ich opisem i przygotowaniem do analizy. Użytkownik może znaleźć właściwy materiał oraz ustalić warunki jego użycia. Katalog AWS Glue obejmuje bezpłatne przechowywanie pierwszego miliona obiektów metadanych.

• Przyjmowanie danych przenosi zbiory ze źródeł do warstwy przechowywania.
• Katalogowanie danych zapisuje opis zbioru i jego pochodzenie, ułatwiając wyszukiwanie.
• Kontrola dostępu ogranicza odczyt zbiorów do uprawnionych użytkowników i procesów.¹⁵
• Przetwarzanie danych przygotowuje zawartość zbiorów do zapytań lub dalszej analizy.

Jezioro służy analitykowi wtedy, gdy zapisane zbiory mają opis, przypisane uprawnienia i określoną ścieżkę przetwarzania.

Dlaczego architektura jeziora danych ma znaczenie?

Architektura jeziora danych decyduje o tym, czy zbiory da się odnaleźć i wykorzystać ponownie. Bez opisu analityk nie pozna znaczenia pól ani pochodzenia materiału. Bez kontroli dostępu wspólny magazyn nie rozdzieli uprawnień.
Oddzielenie przechowywania od przetwarzania pozwala tworzyć różne wyniki z tych samych danych wejściowych. Trzeba przy tym uwzględnić limit 100 partycji dla pojedynczego zapytania CTAS w Athena.

Skąd wzięła się koncepcja data lake?

James Dixon opisał koncepcję data lake w 2010 roku. Odpowiadała ona na ograniczenie architektur, które wymagały dopasowania danych do ustalonego modelu przed ich udostępnieniem. Jezioro zachowuje materiał wejściowy, a jego interpretację wiąże z zastosowaniem. Samo gromadzenie zbiorów nie zastępuje jednak katalogu ani zasad zarządzania danymi.

Jak wyglądały pierwsze wdrożenia jezior danych?

Pierwsze wdrożenia jezior danych skupiały materiał z rozproszonych systemów w jednym magazynie. Po opisaniu koncepcji w 2010 roku zespoły przenosiły dane ze źródeł i zachowywały ich zapis wejściowy. Wybrane zbiory przygotowywały następnie do analizy. Centralizacja ułatwiała pracę, lecz przydatność danych nadal zależała od opisu i możliwości ich odnalezienia.

Rozwój architektury data lake przesunął uwagę na wyszukiwanie danych, kontrolowany dostęp i ponowne wykorzystanie zbiorów. Samo gromadzenie przestało wystarczać.

Data lake w chmurze, modelu hybrydowym i zastosowaniach AI

Data lake w chmurze korzysta z usług chmurowych do przechowywania i analizy. Hybrydowy data lake łączy natomiast zasoby lokalne z chmurą. Wybór zależy od tego, gdzie dane muszą pozostać, jak są przesyłane i kto będzie je analizować.
W S3 Standard w regionie Północna Wirginia przechowywanie kosztuje 0,023 USD za GB miesięcznie.

Architektura chmurowa wymaga osobnych decyzji o magazynie, uprawnieniach, przygotowaniu zbiorów i zapytaniach. Przykłady AWS pokazują podział tych zadań między usługi. Nie należy traktować dostawcy jako jednego produktu.

Jak chmura wpływa na wdrożenie jeziora danych?

Chmurowy data lake pozwala zaplanować magazyn i procesy analityczne jako powiązane usługi. Projekt określa lokalizację zbiorów, dostęp, sposób zasilania jeziora i narzędzie odczytu. W S3 Standard w Północnej Wirginii przechowywanie kosztuje 0,023 USD za GB miesięcznie.

Zillow zbudowało data lake na Amazon S3. Do przetwarzania używa Amazon EMR, a Amazon Kinesis stanowi element infrastruktury strumieniowej. Firma podawała informacje o 110 milionach domów w USA.²
Finra przechowuje dane w Amazon S3 i używa HBase na Amazon EMR do szybkiego przeszukiwania bilionów rekordów transakcyjnych. Koszt tej architektury spadł o 60% względem wcześniejszej infrastruktury lokalnej.^2,16

Jak zaplanować data lake w AWS, Azure lub Google Cloud?

Data lake w AWS, Microsoft Azure lub Google Cloud warto planować według tych samych kryteriów: przechowywania, uprawnień, przygotowania danych i analizy. W AWS poszczególne zadania można przypisać usługom. Przykładowo zapytanie Athena skanujące 1 TB danych kosztuje 5 USD w modelu opłat za skanowanie:

• AWS Lake Formation służy do konfiguracji bezpiecznego data lake, w tym wskazania miejsca przechowywania i zdefiniowania uprawnień.²
• Amazon S3 przechowuje dane, które następnie można katalogować i organizować. AWS Glue służy do przygotowania przepływów czyszczenia i klasyfikacji.²
• Amazon Athena wykonuje zapytania SQL na danych w Amazon S3 i Amazon Glacier bez zarządzania dodatkową infrastrukturą.²
• Amazon Kinesis może zbierać i przetwarzać dane strumieniowe kierowane do jeziora, takie jak telemetria, logi aplikacyjne i działania użytkowników.²
• Amazon EMR obsługuje 19 rozwiązań opartych na projektach open source.²

Plan wdrożenia powinien wskazać dla każdego zbioru miejsce zapisu, uprawnienia, sposób przygotowania i metodę odczytu. Dotyczy to każdej platformy.

Kiedy wybrać hybrydowy model przechowywania danych?

Hybrydowy data lake ma sens, gdy część danych pozostaje lokalnie, a wybrane zbiory lub wyniki przetwarzania trafiają do chmury. Projekt musi określać, które dane wolno przesyłać i gdzie odbywa się przetwarzanie. Powinien też ustalać zasady dostępu w obu środowiskach.
Dla danych umieszczonych w S3 Standard w Północnej Wirginii stawka przechowywania wynosi 0,023 USD za GB miesięcznie.

Model hybrydowy nadal potrzebuje wspólnego katalogu i spójnych zasad dostępu. Bez nich lokalny magazyn i chmura pozostają oddzielnymi zasobami analitycznymi.

Jakie wymagania stawia AI przed architekturą jeziora danych?

AI wymaga danych, których pochodzenie i sposób przygotowania można ustalić przed trenowaniem lub oceną modelu. Surowe zbiory z data lake mogą później służyć analityce i uczeniu maszynowemu, czyli tworzeniu modeli na podstawie danych.²
Edytor DQDL w AWS Glue Studio udostępnia 26 wbudowanych typów reguł kontroli jakości.

Architektura dla uczenia maszynowego powinna oddzielać materiał wejściowy od zbiorów przygotowanych do pracy z modelem. Katalog i kontrola dostępu pomagają ustalić, który zbiór zasilił dany proces analityczny.

Wybór modelu data lake wymaga określenia miejsca przechowywania danych. Równie ważne są zasady ich przygotowania i wykorzystania.

Jakość danych, kontrola dostępu i dobór technologii

Data lake potrzebuje katalogowania, zasad dostępu i kontroli jakości. Same pliki nie powiedzą analitykowi, co zawierają ani czy nadają się do jego zadania. Metadane opisują zbiór i jego pochodzenie, dzięki czemu łatwiej go znaleźć. Reguły dostępu określają, kto może go odczytać; edytor DQDL w AWS Glue Studio udostępnia 26 wbudowanych typów reguł jakości.

Ład danych przypisuje odpowiedzialność za opisy zbiorów, uprawnienia i reguły jakości. Bez tych zasad jezioro może stać się data swamp – magazynem, w którym trudno wiarygodnie odnaleźć lub zinterpretować dane.

Co grozi jezioru danych bez katalogowania, kontroli dostępu i ładu danych?

Data lake bez katalogu utrudnia znalezienie właściwego zbioru. Bez reguł dostępu nie rozdziela też danych między odbiorców. Otwarte formaty plikowe mogą utrudniać kontrolę na poziomie wierszy lub kolumn w porównaniu z klasycznymi rozwiązaniami bazodanowymi.¹⁷
Projekt uprawnień musi uwzględniać zarówno dostęp do pliku, jak i zakres danych widocznych po odczycie.¹⁸ W AWS Glue Data Catalog przechowywanie pierwszego miliona obiektów metadanych jest bezpłatne.

Jak dobrać technologie, formaty i model przechowywania danych?

Dobór technologii data lake powinien wynikać z rodzaju danych, sposobu odczytu i wymaganej szczegółowości uprawnień. Przy planowaniu użycia Amazon Athena trzeba też uwzględnić limit 100 partycji tworzonych przez pojedyncze zapytanie CTAS.
Lista kontrolna porządkuje decyzje projektowe:

• Źródła danych określają, jakie zbiory trafią do jeziora i jak będzie rozpoznawane ich pochodzenie.
• Format plików powinien odpowiadać sposobowi przetwarzania i narzędziom odczytującym dane.
• Model przechowywania powinien oddzielać materiał wejściowy od danych przygotowanych do analizy.
• Model uprawnień powinien określać, kto odczytuje zbiory i czy ograniczenia dotyczą całych plików, wierszy lub kolumn.

Model jest przydatny, gdy analityk potrafi znaleźć zbiór i odczytać go właściwym narzędziem. Musi też pracować wyłącznie na danych objętych jego uprawnieniami.

Jak ocenić jakość i kompletność danych oraz wydajność procesów?

Ocena jakości danych zaczyna się od celu analizy i potrzebnych pól. Analityk może zbadać kompletność pól, zgodność typów danych, powtarzające się rekordy oraz powiązanie zbioru ze źródłem.
W AWS Glue Studio ma do dyspozycji 26 wbudowanych typów reguł DQDL.

Ocena wydajności procesów obejmuje czas zasilania jeziora, przygotowania danych i wykonania zapytania dla tego samego zadania. Powtórny pomiar po zmianie formatu lub sposobu przetwarzania pokazuje, czy praca przebiega sprawniej. Wynik nadal musi spełniać wymagania jakościowe.

Data lake pozostaje użyteczny, gdy opisy zbiorów, uprawnienia i kontrola jakości obejmują zapis oraz późniejszy odczyt.

Wdrożenie lokalne i modernizacja do lakehouse

Lokalny data lake określa miejsce działania infrastruktury, a lakehouse – sposób pracy z danymi. Organizacja może podejmować te decyzje osobno. Lakehouse łączy elastyczność data lake z właściwościami hurtowni i pozwala analizować dane bez dublowania ich między systemami.¹⁷
W opisanym niżej Delta Lake interfejs API zachowuje 100% zgodności z istniejącymi implementacjami Apache Spark.

Microsoft Fabric pozwala zespołom pracować na tych samych danych w architekturze lakehouse bez tworzenia kopii.¹⁷
W lakehouse Microsoft Fabric domyślnym formatem przechowywania są pliki Delta. Można wykonywać na nich bezpośrednie zapytania SQL.¹⁷

Delta Lake jest otwartą warstwą magazynowania zapewniającą transakcje ACID – zasady zachowania spójności operacji na danych – dla Apache Spark i danych big data.¹⁹ Jego interfejs API zachowuje 100% zgodności z istniejącymi implementacjami Apache Spark.¹⁹
Pozostałe właściwości dotyczą formatu, schematu i przetwarzania:²⁰

• Format i wersjonowanie Delta Lake opierają się na Apache Parquet jako podstawowym formacie. Wersjonowanie pozwala przywrócić wcześniejsze stany danych.¹⁹
• Kontrola schematu Delta Lake obejmuje wymuszanie i ewolucję schematu, a dziennik transakcji zapisuje historię zmian.¹⁹
• Tabela Delta Lake może jednocześnie obsługiwać przetwarzanie wsadowe oraz pełnić funkcję źródła i miejsca docelowego danych strumieniowych.¹⁹

Kiedy warto utrzymywać jezioro danych we własnej infrastrukturze?

Lokalny data lake ma uzasadnienie, gdy zasady organizacji wymagają przechowywania i przetwarzania zbiorów we własnej infrastrukturze. Zespół odpowiada wtedy za pojemność magazynu, utrzymanie środowiska, zabezpieczenia i dostępność analiz.
Dla porównania przechowywanie w chmurowym S3 Standard w regionie Północna Wirginia kosztuje 0,023 USD za GB miesięcznie.

Wdrożenie lokalne nie wyklucza pracy w modelu lakehouse. Lokalizacja infrastruktury i architektura analityczna odpowiadają na różne potrzeby. Osobno trzeba więc ocenić wymagane miejsce przechowywania oraz potrzebę wspólnej analizy bez kopiowania danych.

Data lake w edukacji i badaniach: zarządzanie danymi badawczymi (RDM)

Data lake może wspierać zarządzanie danymi badawczymi (RDM), jeśli badacze znają pochodzenie zbiorów, warunki dostępu i sposób ich wykorzystania. RDM obejmuje organizowanie danych powstających podczas badań oraz ich dokumentowanie na potrzeby dalszej analizy i udostępniania.
Przykładowo katalog AWS Glue obejmuje bezpłatne przechowywanie pierwszego miliona obiektów metadanych.

Metadane badawcze powinny opisywać źródło zbioru, metodę pozyskania i znaczenie pól. Taki opis pozwala odróżnić dane wejściowe od wyników przetwarzania. Pomaga też odtworzyć podstawę analizy.

Kontrola dostępu musi odpowiadać zasadom przyjętym dla danego zbioru. Dane zawierające informacje wrażliwe wymagają innych uprawnień niż materiały przeznaczone do udostępnienia. Sam zapis plików w jeziorze nie określa, kto i na jakich warunkach może z nich korzystać.

Data lake wspiera RDM, gdy dane są opisane i możliwe do odnalezienia. Ich udostępnianie musi odbywać się zgodnie z przyjętymi zasadami.

Ceny i warunki sprawdzone u źródeł: październik 2026.