Data engineer — czym się zajmuje i co robi

Data Engineer (inżynier danych) projektuje, buduje i utrzymuje infrastrukturę danych potrzebną do ich przetwarzania i analizy.¹
Przygotowuje przepływy danych i dba o działanie platform. Dzięki jego pracy osoby tworzące analizy i raporty mogą korzystać z odpowiednio przygotowanych informacji.

Na czym polega praca data engineera od źródła do hurtowni danych?

Data engineer prowadzi dane od źródła do miejsca, w którym można je przechowywać i wykorzystywać. Buduje oraz utrzymuje pipeline’y ETL, czyli procesy pobierania, przekształcania i ładowania danych. Pracuje też z hurtowniami danych, które porządkują informacje na potrzeby analiz, oraz z systemami streamingowymi, przetwarzającymi napływające dane na bieżąco.²
W Apache Kafce wiadomości są domyślnie przechowywane przez 7 dni, chyba że zmieniono konfigurację tematu³.

Przygotowanie przepływu zaczyna się od wskazania źródeł, zasad przekształcania danych i miejsca ich zapisu. Znaczenie ma również sposób, w jaki dane napływają. Poniższa tabela pokazuje, jak wpływa on na organizację przetwarzania:

Dane w tabeli: 4

Jak data engineer projektuje i utrzymuje hurtownie oraz platformy danych?

Projektując hurtownię lub platformę, data engineer ustala pochodzenie informacji, sposób ich przetwarzania i miejsce docelowe. Później dostosowuje przepływ do zmian w źródłach lub środowisku przechowywania. Jedną z funkcji platformy jest Snowflake Time Travel, która pozwala odzyskać wcześniejszą wersję danych.
Tabela przedstawia dostępne okresy przechowywania⁵.

• Integracja z jeziorem danych łączy źródła z firmowym zbiorem danych przechowywanych w różnych formatach. Takie prace wykonują inżynierowie danych Craftware.¹
• Migracja platformy danych przenosi przetwarzanie do chmury, a praca w środowisku lokalnym dotyczy infrastruktury utrzymywanej poza nią. Inżynierowie danych Craftware realizują migracje do chmurowych platform danych i pracują ze środowiskami lokalnymi.¹

Nie ma jednego przepływu odpowiedniego dla każdej firmy. Jego układ musi pasować do źródeł, sposobu przetwarzania i środowiska, w którym dane będą wykorzystywane.

Na czym polega udostępnianie danych do analiz, dashboardów i raportów?

Data engineer przygotowuje dane do analiz, raportów i dashboardów, czyli ekranów pokazujących wskaźniki. Ustala strukturę danych oraz zasady dostępu, by odbiorcy posługiwali się tymi samymi definicjami.
W Power BI model danych na pojemności współdzielonej można odświeżyć według harmonogramu najwyżej 8 razy dziennie⁶.

Data Analyst wykorzystuje infrastrukturę przygotowaną przez Data Engineera do analizowania danych i tworzenia raportów.² Model danych określa układ tabel i relacji, dzięki którym można powiązać informacje potrzebne w analizie. W schemacie gwiazdy tabela wymiarów łączy się z tabelą faktów relacją jeden do wielu (1:N)⁷.

Udostępnienie danych daje analitykowi podstawę do pracy. Nie oznacza jednak, że inżynier projektuje wygląd dashboardu. To odrębne zadanie od przygotowania struktury i dostępu do danych.

Czym jest stos technologiczny data engineera?

Stos technologiczny data engineera obejmuje języki, narzędzia i platformy, z których korzysta przy budowaniu przepływów. Jego skład zależy od sposobu przetwarzania danych. Liczy się też środowisko, w którym działa firma.

Podstawowe zastosowania języków przedstawia tabela.

Na początku kariery potrzebna jest solidna znajomość tych języków i podstaw budowania pipeline’ów ETL.²
W projektach pojawiają się też Airflow i dbt. Inżynier może pracować w środowiskach AWS, Azure, GCP, Databricks oraz Snowflake.

Spark i Kafka służą do przetwarzania danych na dużą skalę. Ich znajomość staje się potrzebna na poziomach mid i senior.²
Wraz z odpowiedzialnością za przepływy rośnie więc zakres narzędzi, które inżynier powinien opanować.

Tabela pokazuje etapy rozwoju inżyniera danych i ramy czasowe podawane przez EITT.² Na naukę fundamentów data engineeringu, w tym SQL i Pythona, EITT przeznacza 3–4 miesiące⁸.

Ramy rozwoju pomagają uporządkować naukę. O wyborze konkretnych narzędzi decydują jednak wymagania projektu i zakres przetwarzania danych.

Na czym polega dbanie o poprawność, dostępność i monitorowanie danych?

Data engineer sprawdza wyniki przetwarzania i obserwuje działanie przepływów. Kontroluje, czy dane docierają do miejsca docelowego w oczekiwanej postaci. Gdy pojawia się błąd, szuka jego przyczyny w przepływie⁹.

DataOps obejmuje organizowanie i automatyzowanie pracy nad przepływami danych, w tym ich monitorowanie. Inżynierowie danych Craftware stosują te praktyki i integrują komponenty AI/ML z aplikacjami analitycznymi.¹
W Airflow parametr scheduler_heartbeat_sec określa domyślny interwał działania planisty na 5 sekund¹⁰.

Wydajność architektury danych zależy od tego, jak system wykorzystuje zasoby podczas przetwarzania. Inżynierowie danych Craftware zajmują się optymalizacją wydajności i kosztów takiej architektury.¹
Kontrola wyników pomaga utrzymać poprawność danych, a nadzór nad przepływami – ich dostępność.

Data engineer, analityk danych i machine learning – podział zadań

Przy pracy z danymi zakres obowiązków zależy od celu: przygotowania infrastruktury, analizy wyników albo rozwoju modelu. Tabela rozdziela te zadania:

Przygotowanie danych zajmuje znaczną część pracy analitycznej. W badaniu Anacondy z 2022 roku respondenci poświęcali średnio 37,75% czasu na przygotowanie i czyszczenie danych¹¹.

Jak inżynieria danych wspiera integracje AI i machine learning?

Inżynieria danych wspiera AI i machine learning, dostarczając przygotowane dane oraz łańcuchy ich przetwarzania. Inżynier ustala strukturę danych, porządkuje je i łączy kolejne operacje w przepływ. Takie łańcuchy na potrzeby Data Science i AI budują inżynierowie danych Craftware.¹
Google Cloud wyróżnia 8 etapów pracy nad modelem ML, wśród nich przygotowanie danych i walidację modelu¹².

Czy data engineer musi znać machine learning?

Data engineer nie musi znać machine learningu. Przydaje mu się jednak wiedza o tym, jak modele korzystają z danych, oraz znajomość podstaw feature engineeringu, czyli przygotowywania cech wejściowych modelu.²
Coraz więcej firm wymaga też umiejętności budowania pipeline’ów MLOps – przepływów wspierających wdrażanie i utrzymanie modeli.²

Inżynier przygotowuje dane i przepływy dla modeli, ale nie musi tworzyć samych modeli. Granica tych obowiązków zależy od projektu¹³.

Najczęściej zadawane pytania

Jak długo Kafka domyślnie przechowuje wiadomości?

Domyślnie przez 7 dni, chyba że zmieniono konfigurację tematu.

Czy Spark Structured Streaming uruchamia mikropartie w stałych odstępach?

Nie. Kolejna mikropartia rusza po zakończeniu poprzedniej.

Jaki okres danych można odzyskać przez Snowflake Time Travel?

W edycji Enterprise maksymalnie 90 dni, a standardowy okres wynosi 1 dzień.

Ile razy dziennie można odświeżyć model Power BI na pojemności współdzielonej?

Maksymalnie 8 razy dziennie według harmonogramu.

Jaką relację mają tabele wymiarów i faktów w schemacie gwiazdy?

Tabela wymiarów łączy się z tabelą faktów relacją jeden do wielu (1:N).