Data mining — eksploracja danych: metody i CRISP-DM

Data mining, czyli eksploracja danych, polega na analizie dużych zbiorów w poszukiwaniu wzorców i zależności przydatnych przy podejmowaniu decyzji.¹
W artykule omawiamy metody eksploracji, proces CRISP-DM oraz pracę w Orange i Pythonie. Skalę zagadnienia pokazuje prognoza IDC: globalna ilość danych tworzonych i replikowanych miała osiągnąć 175 zetabajtów w 2025 roku².

Czym jest data mining i jakie ma cele, metody oraz narzędzia?

Data mining korzysta ze statystyki, sztucznej inteligencji i uczenia maszynowego, by wydobywać informacje z dużych zbiorów danych.³
Może opisywać dostrzeżone wzorce albo pomagać przewidywać wyniki. Cele eksploracji dzielą się na 2 rodzaje zadań⁴.

Tabela zestawia rodzaje zadań eksploracji danych i oczekiwane wyniki.

Data mining ma szerszy zakres niż uczenie maszynowe. Obejmuje także odkrywanie wzorców metodami statystycznymi i bazodanowymi.¹
Uczenie maszynowe jest więc jednym ze sposobów prowadzenia eksploracji, a nie nazwą całego procesu⁵.

Do czego wykorzystuje się data mining?

Data mining pomaga znaleźć prawidłowości w danych i wykorzystać je przy podejmowaniu decyzji. Firma może szukać kategorii dla obserwacji, przewidywać wartość albo badać nietypowy przypadek. Od tak postawionego pytania zależy, jakiego wyniku należy oczekiwać. Przy klasyfikacji kwiatów ze zbioru Iris chodzi o przypisanie obserwacji do jednej z 3 klas⁶.

Jakie techniki pomagają odkrywać wzorce w danych?

Technikę eksploracji danych wybiera się według oczekiwanego wyniku. Może nim być kategoria, wartość liczbowa, grupa podobnych obiektów, odstępstwo lub współwystępowanie zdarzeń. Reguły współwystępowania ocenia się między innymi miarą confidence, której wartość liczbowa mieści się w zakresie od 0 do 1⁷.

Tabela porównuje techniki data miningu pod kątem wyniku, jaki dają.

Dane w tabeli: 1

Rodzaj oczekiwanego wyniku decyduje o technice. Przewidywanie wartości liczbowej wymaga innego podejścia niż szukanie podobnych obiektów. Do pierwszego zadania można wykorzystać zbiór diabetes dostępny w scikit-learn, który zawiera 442 obserwacje⁸.

Jak wykorzystać Orange i Python w data miningu?

Orange i Python pozwalają pracować na tym samym zbiorze, jeśli przyjmiemy wspólne pytanie i sposób oceny. Zbiór Iris ma 150 obserwacji i można go analizować w obu środowiskach⁹.

Tabela pokazuje, jak wygląda praca ze zbiorem Iris w każdym środowisku.

• Cel analizy mówi, co chcemy odkryć lub przewidzieć. Warto zapisać go przed wyborem techniki i narzędzia.
• Przygotowanie danych wymaga ustalenia, które pola opisują obserwacje, a które zawiera oczekiwany wynik. W Orange i Pythonie należy przyjąć te same założenia.
• Ocena wyniku polega na odniesieniu znalezionych wzorców do pierwotnego pytania. Porównuj rezultaty uzyskane na tych samych danych, nie na różnych zadaniach.

Wspólny cel i zbiór danych ułatwiają oddzielenie wyboru metody od wyboru środowiska pracy.

Jak dobrać metodę data miningu do problemu?

Dobór metody data miningu zaczyna się od określenia wyniku, którego potrzebujemy, i oceny danych wejściowych. Na skuteczność eksploracji wpływają 2 czynniki: jakość danych oraz wcześniejsza analiza, która pomaga je zrozumieć¹⁰. Zbiór Adult dobrze pokazuje, po co sprawdzać dane: zawiera 48 842 obserwacje, a wśród nich brakujące wartości¹¹.

• Pytanie o wynik określa, czy szukamy kategorii, wartości, podobieństwa, odstępstwa czy współwystępowania. Do odpowiedzi dobierz technikę z tabeli.
• Ocena jakości danych obejmuje kontrolę braków, niespójnych zapisów i obserwacji wymagających wyjaśnienia. Dane trzeba poprawić przed interpretacją wzorców¹².
• Wstępna analiza danych pomaga zrozumieć pola i rozkład obserwacji. Otrzymany wynik należy potem zestawić z początkowym celem.

Data mining prowadzi od pytania i rozpoznania danych do techniki dobranej do oczekiwanego wyniku.

Czym data mining różni się od Business Intelligence i jak przebiega proces CRISP-DM?

Data mining służy odkrywaniu prawidłowości, a Business Intelligence, czyli BI, przede wszystkim monitorowaniu i raportowaniu znanych miar. CRISP-DM porządkuje projekt eksploracji od pytania biznesowego po użycie wyniku.
Metodyka obejmuje 6 faz: zaczyna się od zrozumienia celu biznesowego, a kończy wdrożeniem wyników¹³.

Tabela pokazuje, na jakie pytania odpowiadają dashboard BI i eksploracja danych.

Dane w tabeli: 14

O wyborze między raportem a eksploracją decyduje to, czy firma zna już miarę, którą chce obserwować.

Proces data miningu obejmuje przygotowanie danych, odkrywanie wzorców, ocenę ich znaczenia i wiarygodności oraz prezentację wyników.¹
Nie wystarczy znaleźć zależność: wynik powinien odpowiadać na pytanie postawione na początku pracy. Schemat KDD wyróżnia 5 głównych etapów: selekcję, wstępne przetwarzanie, transformację, eksplorację danych i interpretację wyników¹⁵.

Jakie są etapy procesu data miningu według CRISP-DM?

CRISP-DM prowadzi projekt od zrozumienia celu biznesowego przez poznanie i przygotowanie danych po modelowanie, ocenę oraz wdrożenie. Każdy etap pomaga zdecydować, co robić dalej; ocena modelu może skierować zespół z powrotem do danych.
Faza oceny obejmuje 3 zadania: ocenę wyników, przegląd procesu i określenie dalszych kroków¹⁶.

• Zrozumienie celu biznesowego wymaga zapisania pytania, na które ma odpowiedzieć analiza. Trzeba też określić, jak wynik wesprze decyzję firmy.
• Zrozumienie danych oznacza rozpoznanie źródeł, pól i jakości obserwacji. Na tej podstawie można wskazać dane potrzebne do odpowiedzi.
• Przygotowanie danych może obejmować czyszczenie, integrację i transformację¹. Ekstrakcja danych to pobranie ich ze źródła do dalszej obróbki.
• Modelowanie polega na zastosowaniu metody analitycznej do przygotowanego zbioru. Warto zapisać założenia modelu, by móc odtworzyć analizę.
• Ocena sprawdza, czy rezultat odpowiada na pytanie biznesowe. Obejmuje też weryfikację sensu znalezionej zależności w kontekście danych.
• Wdrożenie oznacza przekazanie wyniku do wykorzystania w decyzji lub procesie pracy. Wnioski trzeba przedstawić w sposób zrozumiały dla odbiorców.

CRISP-DM wiąże pytanie biznesowe z oceną wyniku; BI pomaga z kolei obserwować ustalone wskaźniki.

Data mining w praktyce: branże, przykłady i kierunki rozwoju

Data mining znajduje zastosowanie w 3 obszarach opisanych poniżej: e-commerce, finansach i logistyce. W każdym chodzi o inną decyzję – dopasowanie oferty, ocenę ryzyka lub organizację tras.

Przykład zastosowania powinien pokazywać związek między danymi wejściowymi a decyzją firmy. Znalezienie wzorca nie dowodzi jeszcze, że zmiana oferty lub procesu przyniesie oczekiwany wynik. To trzeba ocenić osobno.

W jakich branżach wykorzystuje się data mining?

Data mining wspiera różne decyzje w e-commerce, finansach i logistyce. Tabela zestawia zastosowania w tych 3 branżach z celami analizy.

Dane w tabeli: 1

Jak wyglądają przykłady zastosowania data miningu?

Analiza klientów może pomóc segmentować odbiorców, przewidywać odejścia i oceniać szanse sprzedaży.¹⁰
Przykład predykcji odejścia pokazuje, jak w 3 krokach przejść od pytania biznesowego do decyzji o kontakcie z klientem.

• Cel analizy odejść określa zachowanie klienta, które firma chce przewidzieć. Należy zapisać warunek uznania klienta za odchodzącego.
• Dane o klientach opisują wcześniejsze zachowania istotne dla tego pytania. Trzeba oddzielić informacje dostępne przed decyzją od tych, które pojawiły się później.
• Wynik predykcji wskazuje klientów wymagających dalszej analizy. Jego przydatność zależy od tego, czy pomaga zdecydować o sposobie obsługi.

Predykcja odejścia ma sens wtedy, gdy jej wynik prowadzi do określonego działania wobec klienta.

Jakie korzyści i kierunki rozwoju wiążą się z data miningiem?

Data mining pozwala oprzeć decyzje na rozpoznanych zależnościach, a nie wyłącznie na intuicji. Korzyść trzeba odnosić do celu analizy: trafności wskazania klientów do kontaktu albo użyteczności planu tras.

Big Data dotyczy zbiorów, których skala lub różnorodność wymaga odpowiedniego przechowywania i przetwarzania. Prognoza 175 zetabajtów danych tworzonych i replikowanych globalnie w 2025 roku pokazuje skalę tego zjawiska.
Większa ilość przetworzonych danych nie wystarczy. Eksploracja nadal potrzebuje jasnego celu i kontroli jakości wyniku.

Jak tłumaczy się termin „data mining” na polski?

Data mining to po polsku eksploracja danych. W opisie projektu warto podać tę nazwę i od razu wskazać cel, na przykład przewidywanie zachowania klientów lub wykrywanie nieprawidłowości.

Polska nazwa określa obszar analizy, a opis wyniku wyjaśnia odbiorcy zastosowanie projektu. W przypadku zbioru Iris wynikiem jest przypisanie obserwacji do jednej z 3 klas.

Praktyczna wartość eksploracji danych zależy od tego, czy znaleziony wzorzec pomaga podjąć wcześniej wskazaną decyzję.

Data mining w angielszczyźnie biznesowej: użycie terminu

Data mining w biznesowej angielszczyźnie oznacza analizę nastawioną na odkrywanie wzorców w danych. W opisie projektu warto połączyć ten termin z celem, by odbiorca wiedział, jakiego wyniku oczekuje zespół.

„We use data mining to identify patterns in customer behavior” znaczy „Wykorzystujemy eksplorację danych do identyfikowania wzorców w zachowaniu klientów”. Zdanie określa przedmiot analizy, ale nie wskazuje samo w sobie metody ani narzędzia.

Data mining i data extraction oznaczają 2 różne działania. Pierwsze dotyczy analizy danych, drugie – pobierania ich ze źródła. To rozróżnienie oddziela pozyskanie danych od odkrywania wzorców.

Ceny i warunki sprawdzone u źródeł: październik 2026.