Znaczenie promptów w komunikacji ze sztuczną inteligencją

Może się wydawać, że im nowszy i bardziej zaawansowany duży model językowy, tym lepsze wyniki będzie osiągał bez względu na inne czynniki. Jednak rezultaty badania przeprowadzonego przez zespół badawczy powiązany z MIT Sloan pokazują, że wykorzystanie nowszej wersji modelu AI odpowiada tylko za ok. połowę obserwowanego wzrostu wydajności. Natomiast drugą połową sukcesu jest sposób, w jaki użytkownicy tworzą i dostosowują prompty (polecenia/zapytania/instrukcje), przy pomocy których komunikują się z modelem.

W trakcie eksperymentu grupa ok. 1900 osób została w przypadkowy sposób przypisana do jednego z badanych modeli GenAI, służących do generowania obrazów: pierwszym z nich był DALL-E 2, drugim bardziej zaawansowany DALL-E 3, a trzecim DALL-E 3 z dodatkową funkcją automatycznego (bez wiedzy użytkownika) przepisywania promptów przy pomocy GPT-4.

Zadaniem uczestników badania było odtworzenie obrazu kontrolnego (np. zdjęcia, grafiki lub dzieła sztuki) przy pomocy poleceń wydawanych sztucznej inteligencji. Na wykonanie zadania użytkownicy mieli 25 minut. Dodatkowym ograniczeniem było również określenie minimalnej liczby poleceń – uczestnicy badania musieli wykorzystać co najmniej 10 promptów. Jako motywację do ulepszania poleceń wykorzystano zachętę finansową – 20% najlepszych użytkowników miało otrzymać nagrodę pieniężną.

W ramach wyników badań naukowcy zauważyli następujące rezultaty:

• Wykorzystanie DALL-E 3 skutkowało lepszymi wynikami (dokładniejszym odwzorowaniem obrazu kontrolnego) niż użycie DALL-E 2.
• Użytkownicy DALL-E 3 pisali prompty o 24% dłuższe i wykorzystujące więcej określeń deskryptywnych (opisowych) niż użytkownicy DALL-E 2.
• Około połowa zaobserwowanej poprawy w jakości generowanych obrazów wynikała z użycia bardziej zaawansowanego modelu, a druga połowa była wynikiem lepszego tworzenia i dostosowania promptów.

Co ciekawe, badanie wykazało również, że funkcja automatycznego przepisywania poleceń przy pomocy dużego modelu językowego (GPT-4), nie tylko nie poprawiała wyników, a wręcz wyraźnie zmniejszała poprawność generowanych obrazów. W porównaniu do wyników grupy, która korzystała z DALL-E 3 bez automatycznego przepisywania promptów, zauważono spadek dokładności generowanych obrazów aż o 58%. Automatyczne „poprawianie” poleceń dodawało zbędne detale oraz przeinaczało sens wydawanych poleceń, co skutkowało generowaniem przez AI nieprawidłowych obrazów.

Pokazuje to, że wykorzystanie tego typu automatycznych rozwiązań nie sprawdza się tam, gdzie zadanie wymaga wygenerowania konkretnego rozwiązania. Jest też sygnałem dla projektantów AI, że zakodowane, ukryte instrukcje mogą łatwo kolidować z faktycznymi działaniami użytkowników, a podejście, w ramach którego twórcy sztucznej inteligencji z góry zakładają w jaki sposób użytkownicy mają korzystać z AI, wymaga zmiany.

Zauważono również, że promptowanie jest umiejętnością, która nie jest zarezerwowana tylko dla osób o dużych zdolnościach technicznych i posiadających dużą wiedzę w dziedzinie nowych technologii. Według danych zebranych w trakcie badania, tworzenie poleceń ma więcej wspólnego z komunikacją niż z kodowaniem. Obserwacje przeprowadzone w trakcie eksperymentu wykazały, że najlepsze prompty tworzyły osoby, które w jasny i przejrzysty sposób potrafią wyrażać swoje pomysły i idee przy użyciu codziennego, potocznego języka.

Należy jednak zauważyć, że wyniki badań mają odniesienie do zadań o jasnych, mierzalnych rezultatach, gdzie w sposób jednoznaczny można ustalić, co jest dobrym wynikiem, a co nie (czyli np. jak najwierniejsze odtworzenie obrazu). Nie jest pewne, czy takie same schematy dotyczą zadań otwartych, na które nie ma jednoznacznie poprawnej odpowiedzi jak np. w przypadku wykorzystania AI do generowania innowacyjnych pomysłów.

Z punktu widzenia organizacji wdrażających i korzystających z AI ważnym wnioskiem płynącym z badania jest to, że nie powinny skupiać się wyłącznie na wdrażaniu najnowszych modeli sztucznej inteligencji, ale również pamiętać o czynniku ludzkim – swoich pracownikach – i zapewnić im możliwość zdobywania nowych umiejętności z zakresu AI.

Według naukowców odpowiedzialnych za badanie, aby jak najlepiej wykorzystać możliwości oferowane przez GenAI należy:

• Zainwestować w trening i umożliwić pracownikom eksperymentowanie – nie wystarczą same ulepszenia technologiczne. Pracownicy potrzebują czasu i możliwości aby nauczyć się, jak najlepiej komunikować się ze sztuczną inteligencją.
• Projektowanie z myślą o iteracji – interfejsy, które zachęcają użytkownika do eksperymentowania, testowania i uczenia się pomagają osiągnąć lepsze rezultaty.
• Uważać na automatyzację – automatyczne przepisywania promptów może być wygodne, ale jeśli ingeruje w intencje użytkownika, może utrudniać mu działanie.

Źródła: mitsloan.mit.edu

arxiv.org

Autor: Natalia Wawryniewicz