Dlaczego AI pisze tak niezrozumiale? Badacze znaleźli winowajcę

Modele językowe AI piszą coraz lepiej – a przynajmniej tak nam się wydaje. Nowe badanie pokazuje, że ich teksty stają się coraz trudniejsze do zrozumienia dla przeciętnego człowieka. Winowajcą jest gęstość informacji, która rośnie kosztem komunikatywności.

Cechy, które utrudniają czytanie

Zespół Thomasa Clarka z MIT przeanalizował korpus tekstów wygenerowanych przez dziewięć popularnych modeli AI. Szukali konkretnych cech psycholingwistycznych, o których od dekad wiadomo, że spowalniają ludzkie przetwarzanie języka: długich zależności składniowych, rzadkich n-gramów, stosów rzeczowników czy zdań względnych z obiektem.

Okazało się, że modele AI sięgają po te konstrukcje znacznie częściej niż ludzie. W porównaniu z tekstami pisanymi przez człowieka, wszystkie badane modele częściej używały nieożywionych podmiotów z czasownikami ożywionymi (na przykład 'algorytm rozumie kontekst') i rzadszych sekwencji słów. Większość modeli produkowała też dłuższe zależności składniowe, więcej rzeczowników w stosach i więcej zredukowanych zdań względnych w dialogach.

Weźmy proste zdanie: 'System wykorzystuje algorytm optymalizujący proces analizy danych'. To klasyczny przykład rzeczowników w stosach, który zmusza mózg do rozbioru gramatycznego na raty. Gdy ten sam tekst przepuści się przez tłumaczenie w obie strony (na przykład z angielskiego na francuski i z powrotem), wychodzi coś w rodzaju 'System używa algorytmu, który optymalizuje analizę danych'. Struktura się rozluźnia, a zdanie staje się łatwiejsze. AI rzadko kiedy sama z siebie wybiera tę prostszą wersję.

Gęstość informacji kontra komunikacja

Autorzy stawiają hipotezę, że to nie przypadek. Modele językowe są coraz częściej optymalizowane pod kątem zadań takich jak matematyka, kodowanie czy rozumowanie logiczne. W tych domenach liczy się upakowanie jak największej ilości informacji w jak najmniejszej liczbie tokenów. Krótkie, precyzyjne sformułowania są nagradzane, nawet jeśli są trudniejsze do przetworzenia dla człowieka.

W ludzkiej komunikacji jest inaczej. Język ewoluował, żeby być zarówno efektywny, jak i zrozumiały. Mówiąc, automatycznie balansujemy między zwięzłością a klarownością, dostosowując się do odbiorcy. AI tego balansu nie ma. Pędzi w stronę maksymalnej gęstości informacyjnej, zostawiając czytelnika z tekstem, który przypomina notatkę ze spotkania inżynierów, a nie artykuł dla szerokiej publiczności.

Co ciekawe, nawet w obrębie różnych rodzin modeli widać dużą zmienność. Niektóre asystenty są bliższe ludzkiemu stylowi, inne dryfują daleko w stronę technicznego żargonu. Żaden z dziewięciu testowanych modeli nie dorównywał jednak ludzkiej lekkości pióra.

Podczas gdy ludzki język jest zoptymalizowany pod kątem udanej komunikacji, tekst generowany przez AI jest coraz częściej optymalizowany pod kątem innych celów, takich jak matematyka, kodowanie i rozumowanie, gdzie istnieje presja na gęstość informacji, a nie na udaną komunikację.

Thomas Hikaru Clark, Matias B. Martin, Kyle Mahowald

Abstract

Eksperyment z karą za długość

Żeby sprawdzić, czy to faktycznie presja na zwięzłość popycha modele w stronę niezrozumiałości, badacze przeprowadzili prosty eksperyment. Dostroili model językowy, dodając do funkcji straty karę za długość generowanego tekstu. Im dłuższa odpowiedź, tym większa kara, więc model był motywowany do skracania wypowiedzi za wszelką cenę.

Efekt? Zachowanie językowe modelu oddaliło się od ludzkiego wzorca jeszcze bardziej. Cechy utrudniające przetwarzanie wystąpiły z większą częstotliwością. To mocny argument za tym, że optymalizacja pod kątem gęstości informacji, czy to przez trening na kodzie, czy przez jawną karę za długość, systematycznie pogarsza komunikatywność.

Dlaczego to ma znaczenie?

Coraz częściej wrzucamy do asystentów AI polecenia w stylu 'napisz raport z tego researchu' albo 'przygotuj odpowiedź do klienta'. Jeśli model wypluje tekst naszpikowany złożoną składnią i rzadkimi słowami, odbiorca może go po prostu nie zrozumieć, albo zrozumieć opacznie. W kontekście dokumentacji technicznej, gdzie precyzja jest kluczowa, gęsty język ma sens. Ale w komunikacji biznesowej, edukacji czy obsłudze klienta może przynieść więcej szkody niż pożytku.

Badanie Clarka i współpracowników nie mówi, że AI pisze źle. Mówi, że pisze inaczej, i że ta inność wynika z celów, do jakich ją trenujemy. Jeśli zależy nam na tym, żeby maszyny mówiły ludzkim głosem, musimy zacząć optymalizować je zarówno pod kątem poprawności, jak i zrozumiałości.

• Modele AI częściej używają trudnych do przetworzenia konstrukcji językowych niż ludzie.
• Gęstość informacji rośnie kosztem zrozumiałości, szczególnie w modelach optymalizowanych do zadań technicznych.
• Parafraza przez tłumaczenie w obie strony upraszcza tekst, co pokazuje, że AI celowo nie dąży do prostoty.
• Kara za długość w trenowaniu modeli pogłębia problem niezrozumiałości.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Humanizacja chatbotów: jak sprawić, by AI mówiła językiem klienta

Gdy ostatnio testowałem chatboty trzech banków, odpowiedzi na proste pytanie o przelew zagraniczny b

Adaptacyjne materiały edukacyjne: od gęstości informacji do czytelności

Platforma e-learningowa generuje tysiąc stron podręcznika w tydzień. Uczniowie dostają wersję dla ws

Zrozumiały pacjent: jak okiełznać AI, żeby nie straszyła medycznym żargonem

Zbyt wielu pacjentów opuszcza gabinet lub zamyka aplikację telemedyczną z wynikami, których nie rozu

Kontrakt zrozumiały dla każdego: detoksykacja języka prawnego AI

Gdy kancelaria wysyła klientowi umowę wygenerowaną przez AI, ten często dzwoni z pytaniami. Nie dlat

Podsumowanie

W praktyce biznesowej oznacza to, że raporty czy maile pisane przez AI mogą wymagać dodatkowej redakcji, by stały się przystępne dla nietechnicznego odbiorcy. W dokumentacji technicznej gęsty język może być zaletą, ale w obsłudze klienta czy marketingu lepiej sprawdzą się modele świadomie trenowane pod kątem komunikatywności. Warto też, by zespoły testowały zrozumiałość wygenerowanych treści, zamiast polegać wyłącznie na metrykach poprawności.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.