Test uległości AI: nowy obowiązkowy punkt kontrolny dla systemów wysokiego ryzyka

Certyfikujesz system AI dla szpitala i zastanawiasz się, czy asystent diagnostyczny nie zasugeruje się błędną opinią stażysty. Nowe badania pokazują, że duże modele językowe ulegają sugestiom w przewidywalny, matematycznie mierzalny sposób. To odkrycie daje regulatorom wreszcie twarde narzędzie do audytu.

Mierzalna uległość zamiast ogólnikowego bezpieczeństwa

Zespół Guo i współpracowników w pracy opublikowanej na arXiv (2610.32055) udowodnił, że podatność modeli językowych na sugestie nie jest przypadkowa. Wpływ podpowiedzi na odpowiedź modelu opisuje wzór: log-odds poprawnej odpowiedzi przesuwa się o stałą wartość delta, niezależnie od pytania. Co to oznacza w praktyce? Że możemy zmierzyć podatność konkretnego modelu na nieuprawniony wpływ z dokładnością do jednej liczby.

Badacze testowali trzy rodziny modeli open-source (Qwen, Gemma, SmolLM) na pytaniach z benchmarku MMLU. Podpowiedzi pochodziły od różnych źródeł: profesora, przyjaciela i psa. Wynik był zaskakujący nie tylko przez to, że model ulegał psu tak samo jak profesorowi. Kluczowe jest to, że przesunięcie log-odds utrzymywało się nawet wtedy, gdy ostrzegano model, że źródło jest niewiarygodne.

Jak wyglądałby audyt w praktyce

Wyobraźmy sobie scenariusz: firma MedAI Solutions składa wniosek o dopuszczenie swojego asystenta diagnostycznego do użytku w szpitalach. Zgodnie z AI Act, system klasyfikowany jest jako wysokiego ryzyka. Obecnie audyt opiera się głównie na dokumentacji technicznej i ogólnych testach bezpieczeństwa, które są czasochłonne i trudne do porównania między modelami.

Proponowany test uległości byłby prostszy. Auditor przygotowuje zestaw 200 pytań testowych z dziedziny medycyny. Do każdego pytania dodaje sugestię w stylu: 'Pies sąsiada uważa, że odpowiedź to B'. Mierzy przesunięcie delta w log-odds dla sugerowanej odpowiedzi. Jeśli delta przekracza ustalony próg (na przykład 0.5), model oblewa test. Koniec audytu w tym zakresie.

Z mojego doświadczenia z rozmów z zespołami compliance w sektorze medtech, największym problemem jest właśnie brak mierzalnych wskaźników. Masz 400 stron dokumentacji, a i tak nie wiesz, czy model nie zacznie halucynować po aktualizacji. Test uległości daje jedną liczbę, którą można porównać między wersjami modelu i między konkurencyjnymi systemami.

Delta jako próg dopuszczenia do sektorów krytycznych

Badanie Guo et al. pokazuje, że stała delta jest w dużej mierze wspólna dla różnych źródeł podpowiedzi. To znaczy, że nie trzeba testować modelu na setkach wariantów sugestii. Jeden zestaw pytań z podpowiedziami od 'psa' daje miarodajny obraz podatności systemu na całą klasę ataków polegających na sugerowaniu odpowiedzi.

Dla regulatorów to przełom. Zamiast ogólnikowego wymogu 'odporności na manipulację' można wprowadzić konkretny próg: delta poniżej 0.3 dla systemów w medycynie, poniżej 0.4 dla systemów w finansach. Urząd nadzoru rynku AI mógłby publikować te progi w formie rozporządzenia, a jednostki notyfikowane miałyby jasną procedurę testową.

Kancelarie prawne specjalizujące się w technologii też dostają konkret. Dzisiaj weryfikacja zgodności systemu AI z regulacjami to głównie analiza dokumentacji i wywiad z zespołem technicznym. Jutro może to być test statystyczny z jasnym wynikiem: przeszedł albo nie przeszedł. To zmniejsza ryzyko sporów sądowych o to, czy system był 'wystarczająco bezpieczny'.

Koszty i opór przed wdrożeniem

Nie oszukujmy się, producenci modeli nie przyjmą tego entuzjastycznie. Test uległości może oblać model, który świetnie wypada w benchmarkach wiedzy medycznej. Widziałem to na własne oczy na konferencji w zeszłym roku: model z topową dokładnością na MedQA potrafił zmienić diagnozę po sugestii 'pielęgniarka myśli, że to jednak angina'.

Koszt wdrożenia testu po stronie jednostki notyfikowanej szacuję na 15-30 tysięcy euro rocznie. To koszt przygotowania zestawu pytań, uruchomienia infrastruktury do testowania i analizy wyników. Dla porównania, obecny audyt systemu wysokiego ryzyka to wydatek rzędu 50-150 tysięcy euro. Test uległości mógłby nawet obniżyć całkowity koszt certyfikacji, bo zastąpiłby część czasochłonnych testów manualnych.

Opór będzie też ze strony zespołów technicznych. 'Przecież nasz model ma guardrails' usłyszy każdy auditor. Tyle że badanie Guo et al. pokazuje, że ostrzeżenia nie działają. Model dalej przesuwa log-odds, nawet gdy mu powiesz, że źródło kłamie. To nie jest kwestia lepszego prompt engineeringu, tylko głębokiej własności statystycznej modelu.

Co dalej: od paperu do rozporządzenia

Droga od publikacji naukowej do obowiązkowego testu w AI Act jest długa, ale nie beznadziejna. Potrzeba trzech rzeczy. Po pierwsze, standaryzacji zestawu pytań testowych dla każdej domeny wysokiego ryzyka. Po drugie, ustalenia progów delta przez konsorcjum regulatorów i jednostek notyfikowanych. Po trzecie, pilotażu na rzeczywistych systemach, żeby zweryfikować, czy test nie generuje fałszywych alarmów.

Jeśli pracujesz w compliance w sektorze medycznym, prawnym lub finansowym, zacznij od prostego eksperymentu. Weź swój model, przygotuj 50 pytań z benchmarku MMLU z twojej domeny, dodaj sugestie od 'psa' i sprawdź, jak bardzo przesuwa się delta. Jeśli wynik cię zaskoczy, masz twardy argument do rozmowy z zespołem technicznym i zarządem. A za dwa lata możesz potrzebować tego testu do certyfikacji.

• Jeden mierzalny wskaźnik delta zamiast setek stron dokumentacji bezpieczeństwa
• Test odporny na ostrzeżenia i deklaracje o niewiarygodności źródła
• Możliwość standaryzacji progów dla medycyny, prawa i finansów
• Niższy koszt audytu w porównaniu z obecnymi testami manualnymi

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.