Analiza ryzyka sztucznej teligencji (AIRA) – nowy język, którym powinni mówić wszyscy w organizacji

Jednym z kluczowych filarów regulacji AI Act – unijnego rozporządzenia w sprawie sztucznej inteligencji[1] – jest podejście oparte na ryzyku (risk-based approach). Obok zagadnień takich jak kary i grzywny za naruszenie przepisów, powołanie instytucji nadzorujących na poziomie unijnym oraz krajowym, obowiązek przeprowadzenia oceny zgodności lub samooceny, nadzór ludzki, wymogi przejrzystości czy interakcja z przepisami o ochronie danych osobowych (RODO), to właśnie systematyczna ocena ryzyka stanowi punkt wyjścia do zrozumienia i wdrożenia całego mechanizmu compliance.

AI Act już w art. 1 wskazuje, że jego celem jest zapewnienie, aby systemy AI wprowadzane na rynek UE były bezpieczne i zgodne z prawami podstawowymi. Podejście oparte na ryzyku umożliwia dostosowanie wymogów prawnych do potencjalnego wpływu systemu AI na zdrowie, bezpieczeństwo i prawa podstawowe osób fizycznych.

Dlaczego właśnie ocena ryzyka powinna być dla organizacji punktem wyjścia? Po pierwsze, to od wyniku analizy ryzyka zależy, czy dany system zostanie zaklasyfikowany jako system wysokiego ryzyka (High-Risk AI System), a więc objęty surowszymi wymogami zgodności, takimi jak wdrożenie systemu zarządzania jakością, prowadzenie rejestru zdarzeń czy zapewnienie nadzoru ludzkiego. Po drugie, proces ten nie jest jednorazowy – AI Act kładzie nacisk na ciągłą aktualizację oceny ryzyka w cyklu życia systemu.

Można stwierdzić, że AI Act powstał, aby zarządzić ryzykiem związanym z dynamicznym rozwojem sztucznej inteligencji – technologii, która w coraz większym stopniu wpływa na procesy społeczne, gospodarcze i decyzyjne. Rozporządzenie wskazuje, że podejście oparte na ryzyku umożliwia stosowanie wymogów prawnych proporcjonalnych do zagrożeń, jakie mogą stwarzać systemy AI dla zdrowia, bezpieczeństwa czy praw podstawowych osób fizycznych. W praktyce oznacza to, że AI Act nie traktuje wszystkich systemów jednakowo, lecz uzależnia obowiązki dostawców i użytkowników od tego, jakie konsekwencje może nieść ich wykorzystanie. Tym samym ocena ryzyka staje się punktem wyjścia do całego procesu zgodności, ponieważ to ona przesądza, czy dany system zostanie zakwalifikowany jako system wysokiego ryzyka i jakie środki kontroli będą musiały zostać wdrożone.

Praktyczną implementację rozporządzenia w organizacjach mocno wspiera międzynarodowy standard ISO/IEC 42001:2023 opracowany wspólnie przez Międzynarodową Organizację Normalizacyjną (ISO) oraz Międzynarodową Komisję Elektrotechniczną (IEC), który wprost wymaga wdrożenia procesu zarządzania ryzykiem AI w ramach systemu zarządzania sztuczną inteligencją (AIMS), zapewniając, że ocena ryzyka nie stanie się jednorazową czynnością wykonaną przed wprowadzeniem systemu na rynek, lecz elementem ciągłego cyklu życia AI, który musi być regularnie aktualizowany wraz ze zmianą kontekstu użycia, aktualizacją danych czy pojawieniem się nowych zagrożeń.

W dalszej części artykułu przyjrzymy się bliżej temu, czym jest Artificial Intelligence Risk Assessment (AIRA) w świetle AI Act, jaką ma strukturę i jakie są najlepsze praktyki jej wdrażania w oparciu o normy ISO.

Kategorie ryzyka w AI Act

AI Act wprowadza czteropoziomową klasyfikację systemów sztucznej inteligencji w zależności od stopnia zagrożenia, jakie mogą one stwarzać dla zdrowia, bezpieczeństwa, praw podstawowych oraz porządku publicznego. Ta gradacja jest kluczowa, ponieważ determinuje zakres obowiązków prawnych ciążących na:

• dostawcach (deweloperach) – podmiotach, które opracowują system/model AI (art. 3 ust. 3);
• użytkownikach systemów – podmiotach wykorzystujących system AI w ramach działalności zawodowej (art. 3 ust. 4);
• przedstawicielach dostawców (art. 3 ust. 5);
• importerach i dystrybutorach – podmiotach importujących, dystrybuujących lub udostępniających systemy AI na rynku UE (art. 3 ust. 6–7);
• producentów wyrobów – jeżeli system sztucznej inteligencji jest zintegrowany z takim produktem.

Ustawodawca unijny podkreśla, że jedynie dzięki takiemu podejściu można zapewnić proporcjonalność wymagań i uniknąć nadmiernych obciążeń dla innowacyjnych rozwiązań o niskim ryzyku. Poniżej przedstawiono cztery kategorie ryzyka wraz z ich definicją i praktycznymi przykładami zastosowań.

Systemy zakazane – ryzyko nieakceptowalne

Najwyższą kategorię ryzyka stanowią systemy, których użycie jest w Unii Europejskiej całkowicie zakazane. AI Act wymienia je w artykule 5, wskazując, że są to systemy, które stanowią niedopuszczalne zagrożenie dla bezpieczeństwa czy praw podstawowych. Do tej grupy należą między innymi systemy stosujące podprogowe techniki manipulacji, które w sposób nieświadomy wpływają na zachowanie człowieka w sposób powodujący szkodę. Zakazane są także systemy wykorzystujące podatności osób ze względu na wiek, niepełnosprawność lub szczególną sytuację społeczną w celu poważnego zniekształcenia ich zachowania.

Innym przykładem są systemy tzw. social scoringu, czyli oceny społecznej dokonywanej przez władze publiczne, która może prowadzić do dyskryminacji lub nierównego traktowania obywateli. AI Act zakazuje także prowadzenia masowej identyfikacji biometrycznej w czasie rzeczywistym w miejscach publicznych, z wyjątkiem ściśle określonych sytuacji, takich jak poszukiwanie ofiar poważnych przestępstw czy przeciwdziałanie zagrożeniu terrorystycznemu. Przykładem praktycznym byłaby np. sieć kamer monitoringu miejskiego w czasie rzeczywistym analizująca twarze przechodniów w celu profilowania ich zachowania – takie rozwiązanie, o ile nie spełnia wyjątkowych przesłanek z art. 5 ust. 1, jest w UE niedopuszczalne.

Systemy wysokiego ryzyka – rygorystyczna zgodność

Drugą kategorię ryzyka stanowią systemy wysokiego ryzyka, które – choć dopuszczone do obrotu – podlegają najbardziej surowym obowiązkom regulacyjnym. AI Act definiuje je w artykule 6 i wskazuje, że należą do nich systemy wykorzystywane w obszarach mających szczególne znaczenie dla zdrowia i bezpieczeństwa jednostki oraz funkcjonowania społeczeństwa. Ustawodawca wymienia w załączniku III m.in. systemy stosowane w infrastrukturze krytycznej, w edukacji (np. do oceniania uczniów), w rekrutacji i zarządzaniu zasobami ludzkimi, w ocenie zdolności kredytowej, w egzekwowaniu prawa, w zarządzaniu migracją i azylem, a także w sądownictwie.

Przykładem systemu wysokiego ryzyka może być algorytm oceniający ryzyko recydywy w postępowaniach karnych, system wspomagający decyzje o przyznaniu kredytu hipotecznego czy system sterowania ruchem kolejowym. Tego typu rozwiązania muszą spełniać szereg wymagań określonych w rozdziale III AI Act, takich jak wdrożenie systemu zarządzania ryzykiem, zapewnienie jakości danych, prowadzenie rejestru zdarzeń, dokumentacja techniczna, przejrzystość działania, nadzór ludzki oraz solidność i bezpieczeństwo działania.

Systemy ograniczonego ryzyka – przejrzystość jako obowiązek

Niżej w hierarchii ryzyka znajdują się systemy, których działanie wiąże się z ograniczonym zagrożeniem i dla których AI Act przewiduje głównie obowiązki w zakresie przejrzystości. Zgodnie z artykułem 52 użytkownicy muszą być informowani o tym, że wchodzą w interakcję z systemem AI, chyba że jest to oczywiste z kontekstu. Wymóg ten ma zastosowanie w szczególności do chatbotów, wirtualnych asystentów czy systemów deepfake, które mogą wprowadzać w błąd co do tożsamości lub natury treści.

Przykładem może być platforma obsługi klienta, w której użytkownik powinien zostać poinformowany, że rozmawia z botem, a nie z człowiekiem. Innym przypadkiem jest generatywny system tworzenia obrazów lub wideo, który powinien oznaczać swoje treści w sposób umożliwiający rozpoznanie, że zostały wytworzone przy użyciu AI. Dzięki temu użytkownicy mogą podejmować świadome decyzje i nie są narażeni na nieuzasadnione wprowadzenie w błąd.

Systemy minimalnego ryzyka – swobodny obrót

Ostatnią kategorię stanowią systemy, które według ustawodawcy stwarzają minimalne zagrożenie i w związku z tym nie zostały objęte żadnymi dodatkowymi obowiązkami regulacyjnymi. AI Act wprost wskazuje, że zdecydowana większość systemów dostępnych na rynku należy do tej grupy, co ma zapobiec nadmiernej biurokratyzacji i spowolnieniu innowacji.

Do tej kategorii zaliczają się między innymi filtry antyspamowe w poczcie elektronicznej, systemy rekomendacji produktów w e-commerce czy narzędzia do gier wideo. Dla tych rozwiązań jedynym obowiązkiem pozostaje ogólne przestrzeganie prawa i zasad odpowiedzialnego projektowania technologii, ale nie ma wymogu formalnej oceny zgodności ani prowadzenia rejestrów ryzyka.

System zarządzania ryzykiem

Kluczowym przepisem AI Act odnoszącym się do AIRA jest artykuł 9, który nakłada na dostawców systemów wysokiego ryzyka obowiązek wdrożenia i utrzymania systemu zarządzania ryzykiem. Przepis ten podkreśla, że proces ten musi mieć charakter ciągły i powtarzalny w całym cyklu życia systemu. Ustawodawca unijny wskazuje, że system zarządzania ryzykiem obejmuje identyfikację zagrożeń dla zdrowia, bezpieczeństwa i praw podstawowych, analizę ich znaczenia oraz prawdopodobieństwa wystąpienia, a także dobór odpowiednich środków technicznych i organizacyjnych, które pozwolą to ryzyko zminimalizować. Nie mniej istotnym elementem jest stałe monitorowanie działania systemu i aktualizowanie oceny ryzyka w odpowiedzi na wyniki tego monitoringu.

Tak ujęty system zarządzania ryzykiem wpisuje się w koncepcję projektowania rozwiązań zgodnych z wymogami od samego początku i w naturalny sposób koreluje z filozofią zarządzania cyklem życia AI, którą promują również międzynarodowe standardy.

Obowiązki związane z AIRA nie spoczywają wyłącznie na dostawcach. Artykuł 29 AI Act rozszerza je również na użytkowników systemów wysokiego ryzyka, zobowiązując ich do stosowania systemu zgodnie z instrukcjami dostawcy, monitorowania jego działania oraz zgłaszania wszelkich incydentów i nieprawidłowości. W praktyce oznacza to, że wdrażające organizacje muszą aktywnie uczestniczyć w procesie zarządzania ryzykiem, dokumentować sposób wykorzystywania systemu, szkolić personel i zapewniać nadzór ludzki w miejscach, gdzie jest to konieczne dla ochrony praw i bezpieczeństwa osób.

Analiza ryzyka zgodnie z AI Act – etapy i praktyka

Analiza ryzyka w rozumieniu AI Act jest procesem systematycznym, powtarzalnym i zorientowanym na cały cykl życia systemu AI. Zgodnie z art. 9 rozporządzenia dostawcy systemów wysokiego ryzyka wdrażają i utrzymują system zarządzania ryzykiem, który jest ciągłym procesem, powtarzanym w całym cyklu życia systemu sztucznej inteligencji. Oznacza to, że ocena ryzyka nie jest jednorazowym ćwiczeniem wykonywanym na etapie projektowania, lecz towarzyszy systemowi od chwili koncepcji, przez rozwój i wdrożenie, aż po jego wycofanie z użytkowania.

Choć art. 9 wskazuje formalnie cztery etapy, to warto je rozbić na mniejsze elementy, umożliwiające lepiej zrozumieć ich cel i wagę.

Identyfikacja kontekstu

Pierwszym etapem AIRA jest precyzyjna identyfikacja kontekstu użycia systemu. Organizacja powinna odpowiedzieć na pytanie, w jakim celu tworzy lub wdraża dany system, jakie procesy biznesowe będzie wspierał, kto będzie z niego korzystał i jakie decyzje mogą być podejmowane na jego podstawie. AI Act podkreśla, że dostawcy powinni wziąć pod uwagę przewidywane zastosowanie systemu, jego ograniczenia i możliwości, a także warunki środowiskowe, w których będzie działał. Dla przykładu, jeśli firma projektuje algorytm wspierający rekrutację, musi zrozumieć, że będzie on wpływał na decyzje o zatrudnieniu i może mieć skutki prawne w zakresie równego traktowania kandydatów.

Identyfikacja interesariuszy

Kolejnym krokiem jest identyfikacja interesariuszy oraz praw podstawowych, które mogą zostać naruszone. AI Act nie ogranicza pojęcia ryzyka wyłącznie do zagrożeń dla bezpieczeństwa fizycznego, lecz obejmuje także prawa takie jak prywatność, wolność od dyskryminacji, prawo do skutecznego środka prawnego czy prawo do ochrony danych osobowych. Analiza powinna więc wskazać, jakie grupy osób mogą być dotknięte skutkami działania systemu i w jaki sposób. W przypadku algorytmu do analizy ryzyka kredytowego należałoby zbadać, czy model nie wprowadza nieuzasadnionej dyskryminacji określonych grup społecznych, na przykład osób z określonych regionów czy o określonym statusie socjoekonomicznym.

Identyfikacja zagrożeń

Po zrozumieniu kontekstu i interesariuszy przechodzi się do identyfikacji zagrożeń technicznych i organizacyjnych. AI Act wskazuje, że proces ten powinien obejmować zarówno znane, jak i możliwe do przewidzenia zagrożenia. Mogą one dotyczyć jakości danych treningowych, odporności modelu na manipulacje (np. ataki adversarialne), ryzyka błędów logicznych w kodzie czy niewłaściwej konfiguracji systemu. W praktyce dla systemu rozpoznawania obrazów stosowanego w diagnostyce medycznej zagrożeniem może być zbyt mała reprezentacja niektórych grup pacjentów w zbiorze treningowym, co prowadzi do gorszej skuteczności w diagnozowaniu u nich chorób.

Ocena prawdopodobieństwa oraz wpływu

Następnie dokonuje się oceny prawdopodobieństwa i wpływu każdego zidentyfikowanego ryzyka. AI Act nie wskazuje jednej obowiązkowej metodyki, ale podkreśla konieczność proporcjonalności i rzetelności procesu. Organizacje mogą korzystać z macierzy ryzyka, w których ocenia się zarówno częstotliwość wystąpienia zagrożenia, jak i jego konsekwencje dla osób dotkniętych. Dla przykładu, jeśli ryzyko błędnej decyzji w algorytmie medycznym może prowadzić do poważnego uszczerbku na zdrowiu, jego istotność zostanie oceniona jako wysoka, nawet jeśli prawdopodobieństwo wystąpienia jest relatywnie niskie.

Wdrożenie środków kontroli i mitygacji

Kiedy ocena ryzyka jest gotowa, kolejnym krokiem jest wdrożenie środków kontroli i mitygacji. AI Act wymaga, aby działania te były odpowiednie do skali zagrożenia i obejmowały zarówno środki techniczne, jak i organizacyjne. Może to oznaczać wprowadzenie dodatkowych walidacji danych, testów w warunkach skrajnych, retreningu modelu, a także mechanizmów nadzoru ludzkiego tam, gdzie jest to konieczne. Zgodnie z AI Act nadzór ludzki ma na celu zapobieganie lub minimalizowanie ryzyka dla zdrowia, bezpieczeństwa lub praw podstawowych. Dla przykładu, w systemie wspomagającym decyzje kredytowe człowiek powinien mieć możliwość weryfikacji i ewentualnego skorygowania decyzji algorytmu przed jej ostatecznym podjęciem.

Monitorowanie i aktualizacja

Ostatnim elementem AIRA jest monitorowanie i ciągła aktualizacja oceny ryzyka. AI Act nakazuje, aby proces ten miał charakter iteracyjny i był prowadzony przez cały okres użytkowania systemu. Artykuł 9 wyraźnie wskazuje, że wyniki monitorowania powinny być analizowane w celu aktualizacji systemu zarządzania ryzykiem w razie potrzeby. W praktyce oznacza to prowadzenie rejestru zdarzeń, regularne audyty oraz wdrażanie działań korygujących, gdy pojawią się nowe zagrożenia lub gdy zmieni się sposób wykorzystania systemu. Dla przykładu, jeśli algorytm generatywny zacznie być wykorzystywany w nowym kontekście – np. do tworzenia treści marketingowych – organizacja powinna ponownie ocenić ryzyko w zakresie potencjalnych naruszeń praw autorskich lub wprowadzania w błąd odbiorców.

Analiza ryzyka zgodnie z AI Act to zatem proces kompleksowy, obejmujący zarówno aspekty techniczne, jak i społeczne, etyczne oraz prawne. Wymaga zaangażowania interdyscyplinarnego zespołu, który będzie w stanie ocenić zagrożenia w sposób całościowy i zaproponować skuteczne środki ich ograniczania.

ISO/IEC 42001 – systemowe wsparcie AIRA

Norma ISO/IEC 42001:2023 tworzy ramy systemu zarządzania sztuczną inteligencją i wskazuje, że proces zarządzania ryzykiem powinien być jego integralną częścią. Standard wymaga ustanowienia polityki w tym zakresie, prowadzenia rejestru ryzyk, określenia kryteriów akceptowalności i stosowania mechanizmów ciągłego doskonalenia opartych na cyklu PDCA (Plan-Do-Check-Act). Dzięki temu organizacja może udokumentować, że ryzyko jest nie tylko identyfikowane i oceniane, lecz także skutecznie monitorowane i redukowane. ISO 42001 daje również narzędzia do przeprowadzania wewnętrznych audytów i wykazywania zgodności przed regulatorami lub partnerami biznesowymi.

AI RMF – praktyczny przewodnik zarządzania ryzykiem

Uzupełnieniem wymogów AI Act i ISO 42001 może być amerykański NIST AI Risk Management Framework, który, choć ma charakter dobrowolny, stanowi praktyczne i szeroko uznane narzędzie wspierające organizacje we wdrażaniu odpowiedzialnych systemów AI. Ramy NIST koncentrują się na czterech krokach: ustanowieniu ładu i odpowiedzialności w organizacji, mapowaniu kontekstu i działania systemu, mierzeniu i testowaniu ryzyk oraz wdrażaniu środków zaradczych i mechanizmów zarządzania. Podejście to kładzie nacisk na budowanie zaufania do systemów AI, co jest spójne z celem unijnego rozporządzenia.

AIRA jako wspólny język biznesu

Analiza ryzyka sztucznej inteligencji, choć wprowadzona w AI Act jako obowiązek regulacyjny, w rzeczywistości jest czymś znacznie więcej – staje się strategicznym narzędziem zarządzania firmą i sposobem myślenia o innowacji. Sztuczną inteligencję można porównać do lotu kosmicznego: w fazie projektowania i testów mamy czas na wnikliwą analizę ryzyka, testowanie różnych scenariuszy, budowanie redundancji i usuwanie błędów zanim rakieta oderwie się od ziemi. Jednak gdy system AI wchodzi na produkcję i zaczyna dostarczać wyniki – tak jak rakieta, która wystartowała – nie ma już możliwości zatrzymania całego procesu bez poważnych konsekwencji. Pozostaje jedynie monitorowanie, bieżąca telemetria i ewentualne korekty kursu, aby utrzymać projekt na właściwej trajektorii.

To porównanie dobrze pokazuje, dlaczego AIRA jest tak istotna dla biznesu. Ocena ryzyka jest nie tylko barierą ochronną, ale też warunkiem tego, by w ogóle móc bezpiecznie „wystartować” z projektem AI. Dzięki starannemu przygotowaniu organizacja minimalizuje ryzyko awarii w trakcie „lotu”, a w przypadku problemów wie, które wskaźniki monitorować i jak reagować.

Ryzyko jest przy tym językiem uniwersalnym, który łączy wszystkie działy w firmie. Zarząd rozumie je w kontekście strategii i reputacji, IT widzi je przez pryzmat stabilności i cyberbezpieczeństwa, dział prawny w kontekście odpowiedzialności i regulacji, dział compliance w odniesieniu do zgodności z przepisami i uniknięcia sankcji, a sprzedaż i marketing w kontekście zaufania klientów i wartości marki. Nawet zespoły produkcyjne mogą spojrzeć na ryzyko przez pryzmat bezpieczeństwa procesów i ciągłości działania. Kiedy wszyscy w organizacji mówią tym samym językiem, łatwiej o spójne decyzje i szybsze reagowanie na zagrożenia.

Ten wspólny język nie kończy się na granicach firmy. Partnerzy biznesowi oczekują, że organizacja, z którą współpracują, zarządza swoimi systemami AI odpowiedzialnie, dostawcy muszą wiedzieć, jakie standardy muszą spełniać dane czy komponenty, które dostarczają, klienci wymagają, by produkty były nie tylko innowacyjne, ale też bezpieczne, a regulatorzy i audytorzy oczekują dowodów na to, że ryzyka są identyfikowane, oceniane i skutecznie mitygowane.

AIRA staje się więc nie tylko narzędziem spełnienia wymogów AI Act, lecz także mostem między światem innowacji i światem odpowiedzialności. Organizacje, które uczynią z zarządzania ryzykiem element swojej kultury, zyskują przewagę – ich zespoły lepiej współpracują, a firma może podejmować ambitniejsze projekty technologiczne, mając pewność, że rozumie potencjalne zagrożenia i potrafi nimi zarządzać. Klienci w efekcie otrzymują rozwiązania, które są nowoczesne, ale i bezpieczne, a zaufanie do marki staje się naturalną konsekwencją tego podejścia.

Warto zauważyć, że podejście oparte na ryzyku ma jeszcze jedną istotną zaletę: daje szerszą perspektywę na zagrożenia, które mogą pojawić się dopiero w przyszłości. Prawo z definicji jest zawsze krokiem za innowacją i nie sposób w jego treści przewidzieć wszystkich nowych technologii, podatności czy scenariuszy nadużyć. Risk-based approach działa jak kompas – wskazuje kierunek postępowania również wtedy, gdy pojawiają się wyzwania, których obecne przepisy jeszcze nie regulują. Dzięki temu organizacje nie tylko przestrzegają obowiązujących norm, lecz także budują zdolność adaptacji do zmieniającego się otoczenia technologicznego i regulacyjnego.

Marzena Tyl

Kancelaria radcy prawnego Marzena Tyl świadczy usługi prawne w zakresie prawa gospodarczego, cywilnego, administracyjnego, budowlanego. Oferujemy również wsparcie w obszarze ochrony danych osobowych oraz compliance. Wśród Klientów kancelarii znajdują się firmy z branży nowych technologii, funduszy inwestycyjnych, medycznej. Jesteśmy nowoczesną kancelarią wspierającą nie tylko duże podmioty korporacyjne, ale również startupy. 

Artykuł powstał w ramach realizacji projektu Centrum Rozwoju Małych i Średnich Przedsiębiorstw sfinansowanego ze środków Ministerstwa Rozwoju i Technologii. 

---

[1] Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 z dnia 13 czerwca 2024 r. w sprawie ustanowienia zharmonizowanych przepisów dotyczących sztucznej inteligencji oraz zmiany rozporządzeń (WE) nr 300/2008, (UE) nr 167/2013, (UE) nr 168/2013, (UE) 2018/858, (UE) 2018/1139 i (UE) 2019/2144 oraz dyrektyw 2014/90/UE, (UE) 2016/797 i (UE) 2020/1828 (akt w sprawie sztucznej inteligencji)Tekst mający znaczenie dla EOG (Dz. U. UE. L. z 2024 r. poz. 1689).