5 sierpnia 2025 r.
Czy chatboty są zbyt pewne siebie?
Według najnowszego badania przeprowadzonego przez naukowców z amerykańskiego Carnegie Melon University duże modele językowe sprawiają wrażenie pewnych siebie, nawet gdy podają niewłaściwe informacje i gdy ich pewność siebie jest nieuzasadniona.
Tego typu zachowanie może prowadzić użytkowników do nadmiernego poczucia zaufania i obniżenia poziomu sceptycyzmu co do treści generowanych przez modele AI, a co za tym idzie bardziej powszechnego wprowadzania użytkowników w błąd i powielania przez nich nieprawdziwych informacji.
W ramach dwuletniego badania naukowcy zapytali duże modele językowe (ChatGPT, Gemini, Sonnet i Haiku) oraz wybraną grupę ludzi o:
- to, jak pewni są swych możliwości w udzielaniu odpowiedzi na różne tematy (np. pytania z wiedzy ogólnej, przewidywanie wyników meczów NFL lub filmów, które zostaną nagrodzone Oscarem),
- przewidzenie, jaki wynik osiągną w Pictionary (grze przypominającej kalambury).
Zarówno osoby biorące udział w badaniu, jak i duże modele językowe w trakcie oceny dokonywanej przed rozpoczęciem testów miały tendencję do przeceniania swoich potencjalnych wyników. Natomiast w trakcie badania obie grupy wykazały podobną skuteczność w odpowiadaniu na pytania i rozpoznawaniu obrazów.
Różnice pojawiały się w ocenie wyników dokonywanej po zakończeniu testów (udziale w kalamburach i odpowiedzeniu na pytania). Wśród badanych osób zaobserwowano dostosowywanie przewidywań do rzeczywistości – np. jeśli badany człowiek przewidywał, że poprawnie odpowie na 18 pytań, a następnie udzielił 15 prawidłowych odpowiedzi, to po badaniu widoczne było dostosowanie szacunkowej oceny ilości dobrych odpowiedzi do 16. Pokazuje to, że ludzie dalej byli dość pewni siebie, ale w mniejszym stopniu niż przed testami.
Natomiast wśród chatbotów nie tylko nie obserwowano takiego zachowania, a wręcz gorzej radziły sobie one z oceną dokonywaną po fakcie. Wśród modeli językowych obserwowano tendencję do zbytniej pewności siebie w ocenianiu, ile poprawnych odpowiedzi udzieliły. Może wskazywać to na to, że modele AI nie uczą się na swoich doświadczeniach.
Jak podkreślają badacze, ważne jest kontynuowanie tego typu badań. Wciąż bowiem nie wiadomo, czy ocena pewność siebie u modeli sztucznej inteligencji jest wynikiem zachodzenia procesów kognitywnych u AI, czy też tylko odzwierciedleniem ludzkich zachowań generowanym na podstawie danych treningowych. Jednak jak podkreślają naukowcy, najważniejszym wnioskiem płynącym z badania dla zwykłego użytkownika jest to, że choć chatboty wydają się być pewne generowanych przez siebie odpowiedzi, nie zawsze podają prawidłowe informacje i nie należy bezkrytycznie podchodzić do treści dostarczanych nam przez AI.
Należy również pamiętać, że w komunikacji z modelami sztucznej inteligencji brakuje obecnych w komunikacji międzyludzkiej sygnałów pewności siebie związanych z mimiką i sposobem wypowiedzi (takich jak np. marszczenie brwi czy momenty zastanowienia), które pozwalają na ocenę, jak bardzo nasz rozmówca jest pewien przekazywanych nam informacji. Jest to również czynnik, który wpływa na sposób oceny treści generowanych przez sztuczną inteligencję.
Źródła: