Predykcyjna AI w firmie może wspierać prognozowanie sprzedaży, wykrywanie anomalii, klasyfikowanie przypadków i ocenę prawdopodobieństwa określonych zdarzeń. Jej zastosowanie nie powinno być jednak oceniane wyłącznie przez pryzmat nazwy narzędzia albo deklaracji dostawcy. Znaczenie ma przede wszystkim to, jaki problem system rozwiązuje, na jakich danych pracuje i co organizacja robi z jego wynikiem.
Ryzyko prawne i organizacyjne rośnie, gdy predykcja dotyczy konkretnej osoby lub wpływa na dostęp do pracy, usługi, kredytu, ceny czy warunków umowy. Szczólnej ostrożności wymagają procesy HR, scoring oraz klasyfikacja klientów. Poniżej znajduje się edukacyjna ścieżka analizy funkcji systemu, danych, wpływu wyniku i roli człowieka. Materiał nie zastępuje analizy konkretnego wdrożenia, umowy z dostawcą ani indywidualnej porady prawnej.
Predykcyjna AI a generatywna AI — podstawowe różnice
Predykcyjna AI służy przede wszystkim do przetwarzania danych i wyprowadzania oceny. Może przypisywać przypadkom wartości liczbowe, kategorie albo prawdopodobieństwa. W praktyce obejmuje między innymi prognozowanie popytu, sprzedaży lub retencji klientów, scoring, klasyfikację zgłoszeń oraz wykrywanie anomalii. Wynik systemu ma pomóc uporządkować informacje albo przewidzieć określony stan.
AI generatywna działa przede wszystkim jako narzędzie tworzące nowe treści, takie jak dokumenty, obrazy lub wideo. Różnica między tymi podejściami jest więc głównie funkcjonalna i dotyczy rodzaju zadania oraz wyniku. Nie oznacza automatycznie, że jeden rodzaj systemu jest zawsze mniej lub bardziej ryzykowny prawnie.
Jaki wynik tworzy system?
Przy analizie konkretnego narzędzia warto zacząć od prostego pytania: co dokładnie otrzymuje użytkownik? Wynikiem predykcyjnej AI może być prawdopodobieństwo, kategoria, wartość, rekomendacja albo sygnał wskazujący anomalię. Wynikiem AI generatywnej jest nowa treść. Sama etykieta „predykcyjna AI” nie przesądza jednak o kwalifikacji prawnej. AI Act wiąże ocenę z funkcją i kontekstem zastosowania, a nie wyłącznie z nazwą nadaną przez dostawcę.
Od celu biznesowego do oceny ryzyka prawnego
Ocena ryzyka powinna rozpocząć się od opisania celu systemu. Trzeba ustalić, jaki problem rozwiązuje narzędzie, jaki wynik generuje i gdzie ten wynik pojawia się w procesie. Inaczej należy analizować prognozę zapotrzebowania na zapasy, a inaczej klasyfikację osoby ubiegającej się o pracę albo klienta starającego się o kredyt.
Kolejny krok to mapa danych. Należy sprawdzić, jakie informacje są wykorzystywane, skąd pochodzą, czy dotyczą osób fizycznych oraz czy są aktualne i reprezentatywne dla celu. Znaczenie ma również sposób użycia wyniku. Jeżeli stanowi on tylko jeden z elementów analizy, sytuacja może wyglądać inaczej niż wtedy, gdy organizacja w praktyce automatycznie podporządkowuje mu decyzję.
W kontekście RODO szczególnej uwagi wymaga decyzja oparta wyłącznie na automatycznym przetwarzaniu, jeżeli wywołuje wobec osoby skutki prawne lub podobnie istotnie na nią wpływa. W określonych wyjątkach potrzebne są zabezpieczenia, w tym możliwość uzyskania interwencji człowieka, przedstawienia własnego stanowiska i zakwestionowania decyzji.
Pytania, które trzeba zadać przed wdrożeniem
Przed zakupem lub uruchomieniem narzędzia warto zebrać odpowiedzi na następujące pytania:
- Jaki jest cel systemu? Czy chodzi o prognozowanie operacyjne, klasyfikację, scoring czy wsparcie decyzji dotyczącej osoby?
- Jaki wynik powstaje? Czy jest to wartość, kategoria, prawdopodobieństwo, rekomendacja albo sygnał anomalii?
- Kto korzysta z wyniku? Trzeba wskazać użytkownika, osobę odpowiedzialną za decyzję i miejsce systemu w procesie.
- Czy wynik wpływa na osobę? Znaczenie ma dostęp do pracy, usługi, kredytu, ceny, warunków umowy lub innej istotnej możliwości.
- Czy człowiek może zrozumieć, zakwestionować i zmienić wynik? Sama formalna obecność człowieka nie usuwa automatycznie ryzyka.
- Czy istnieje dokumentacja i możliwość audytu? Należy ustalić odpowiedzialność firmy i dostawcy oraz sposób reagowania na błędy.
Nie jest to uniwersalny test ustawowy ani indywidualna porada prawna. Obowiązki mogą zależeć od celu użycia, rodzaju danych, roli organizacji w łańcuchu dostaw AI, sektora i aktualnego stanu prawnego.
Dane, reprezentatywność i ryzyko błędnej klasyfikacji
Jakość danych nie sprowadza się do ich kompletności. Skuteczność predykcji zależy również od reprezentatywności, czyli dopasowania danych do sytuacji, w której system ma działać. Model oparty na starszych danych może tracić trafność, gdy zmieniają się warunki rynkowe, zachowania klientów albo sposób funkcjonowania organizacji.
Błędna klasyfikacja może prowadzić do niewłaściwego priorytetyzowania spraw, pominięcia istotnego przypadku albo nierównego traktowania osób. Dlatego przed wdrożeniem warto opisać źródła danych, ich zakres, aktualność i ograniczenia. Po wdrożeniu potrzebne jest monitorowanie zmian warunków oraz błędnych wyników. Nie należy zakładać, że historyczne dane są neutralne albo zawsze wystarczające.
Kiedy dane przestają odpowiadać rzeczywistości?
Dane mogą przestać odpowiadać rzeczywistości, gdy zmienia się kontekst, dla którego je zebrano. Ocena powinna obejmować nie tylko to, czy model otrzymuje dużo informacji, lecz także czy są one właściwe dla celu. Osoby korzystające z wyniku powinny znać ograniczenia systemu i wiedzieć, że predykcja nie jest pewnikiem. Przy zastosowaniach dotyczących ludzi trzeba dodatkowo uwzględnić ryzyko dyskryminacji i nierównego traktowania.
AI w HR: rekrutacja, ocena kandydatów i monitorowanie pracowników
W obszarze zatrudnienia ryzyko jest szczególnie istotne, ponieważ wynik systemu może wpływać na sytuację zawodową człowieka. AI Act wskazuje jako zastosowania wysokiego ryzyka, w zakresie określonym w jego przepisach, między innymi rekrutację i selekcję kandydatów, filtrowanie aplikacji oraz ocenę kandydatów. Ostrożności wymagają również decyzje dotyczące warunków pracy, awansu, rozwiązania stosunku pracy, przydzielania zadań oraz monitorowania i oceny pracowników.
Przed wdrożeniem należy przeanalizować kryteria, na podstawie których system klasyfikuje osoby. Ważne są przejrzystość, możliwość wyjaśnienia wyniku, ryzyko dyskryminacji oraz sposób wykorzystania danych. Nieprzejrzysta ocena kandydata może mieć realne znaczenie nawet wtedy, gdy firma opisuje ją jako pomocniczą rekomendację.
Warto oddzielić techniczną ocenę systemu od decyzji pracodawcy. Jeśli osoba decyzyjna jedynie zatwierdza wynik AI i nie ma warunków, aby go zrozumieć lub zmienić, formalna obecność człowieka może nie odpowiadać rzeczywistemu nadzorowi.
Nadzór człowieka w procesach pracowniczych
Realny nadzór oznacza możliwość oceny znaczenia wyniku, zakwestionowania go i podjęcia odmiennej decyzji, gdy przemawiają za tym okoliczności. Samo kliknięcie akceptacji albo podpisanie decyzji nie musi usuwać ryzyka. W sytuacjach objętych art. 22 RODO znaczenie ma także możliwość przedstawienia stanowiska przez osobę, której dotyczy wynik, oraz zakwestionowania decyzji.
W praktyce organizacja powinna wiedzieć, kto odpowiada za ocenę, jakie informacje są dostępne i jak reagować na sygnał błędu. Szczególnej uwagi wymagają dane wrażliwe, niejasne kryteria i historyczne wzorce, które mogą utrwalać nierówne traktowanie. Każdy system HR wymaga jednak oceny konkretnego celu i procesu, a nie automatycznego przypisania identycznej kwalifikacji.
AI w sprzedaży i klasyfikacji klientów
W sprzedaży predykcyjna AI może wspierać prognozowanie popytu, sprzedaży i retencji klientów, a także wykrywanie anomalii. Klasyfikacja leadów lub klientów może mieć charakter operacyjny, na przykład pomagać w porządkowaniu pracy zespołu. Nie oznacza to jednak automatycznie braku ryzyka prawnego.
Kluczowe jest ustalenie, czy wynik dotyczy konkretnej osoby i co dzieje się później. Ryzyko rośnie, gdy scoring lub profilowanie wpływa na dostęp do kredytu, usługi, ceny albo warunki umowy. Samo prognozowanie popytu lub zapasów nie jest automatycznie zastosowaniem wysokiego ryzyka, ale nadal wymaga kontroli danych, celu, błędów i bezpieczeństwa procesu.
Od prognozy sprzedaży do decyzji o kliencie
Prognoza sprzedaży dotyczy planowania działalności, natomiast scoring klienta może wpływać na jego indywidualną sytuację. Ta różnica powinna być opisana przed wdrożeniem. Wynik pośredni także może mieć znaczenie, jeżeli inny podmiot w dużym stopniu opiera na nim decyzję. W sprawie C-634/21 TSUE wskazano znaczenie automatycznie ustalanej wartości prawdopodobieństwa dla decyzji kredytowej.
Nie należy więc uznawać, że wynik jest neutralny tylko dlatego, że formalnie nazwano go rekomendacją. Trzeba sprawdzić, czy pracownik rzeczywiście analizuje inne informacje, czy może odstąpić od wyniku i czy organizacja dokumentuje sposób podjęcia decyzji.
Lista kontrolna przed wdrożeniem predykcyjnej AI
Przed wdrożeniem warto uporządkować informacje w krótkim opisie procesu. Powinien on łączyć funkcję systemu z danymi, wpływem wyniku i odpowiedzialnością organizacji. Taka lista jest punktem wyjścia do dalszej analizy, a nie potwierdzeniem zgodności prawnej.
Minimalny zestaw informacji do zebrania
- Funkcja i cel: opisz, co system przewiduje, klasyfikuje, ocenia lub wykrywa oraz jaki problem biznesowy ma wspierać.
- Wynik i proces: wskaż, kto otrzymuje wynik, gdzie jest on wykorzystywany i czy staje się elementem decyzji.
- Dane: zapisz rodzaje informacji, ich źródła, aktualność, reprezentatywność oraz znane ograniczenia.
- Wpływ na osoby: sprawdź, czy wynik może oddziaływać na zatrudnienie, usługę, kredyt, cenę, warunki umowy lub inną istotną możliwość.
- Automatyzacja: ustal, czy decyzja może być podejmowana wyłącznie automatycznie i jakie zabezpieczenia przewidziano.
- Odpowiedzialność: określ rolę firmy i dostawcy, dostęp do dokumentacji oraz możliwość audytu.
- Nadzór i reakcja: opisz, kto może zrozumieć, zakwestionować i zmienić wynik oraz jak organizacja reaguje na błędy.
- Monitoring: zaplanuj obserwowanie zmian warunków, błędnych klasyfikacji i ograniczeń modelu po wdrożeniu.
Przed publikacją lub rozpoczęciem konkretnego projektu należy ponownie sprawdzić aktualny stan przepisów krajowych, harmonogram stosowania AI Act oraz polskie ramy nadzoru. Zakres obowiązków może zależeć od celu, danych, roli organizacji i sposobu wykorzystania systemu.
Ryzyko prawne predykcyjnej AI wynika przede wszystkim z funkcji systemu, celu zastosowania, rodzaju danych i wpływu wyniku na osoby. Szczólnej ostrożności wymagają procesy HR oraz scoring i klasyfikacja wpływające na dostęp do pracy, usług, kredytu, cen lub warunków umowy. Prognozowanie operacyjne także wymaga kontroli danych i aktualności modelu, lecz nie powinno być automatycznie utożsamiane z decyzją wysokiego ryzyka. Przedstawiona lista kontrolna jest punktem wyjścia, a nie indywidualną analizą prawną. Sprawdź inne materiały Łączy nas Biznes i rozwijaj firmę w oparciu o praktyczną, aktualną wiedzę.
