Promptowanie LLMów w pytaniach otwartych - badanie w szkołach (w ramach współpracy z projektem MOWE)

Cel projektu

Celem badania jest sprawdzenie, czy i w jakim stopniu korzystanie z dedykowanych chatbotów opartych na sztucznej inteligencji wpływa na jakość odpowiedzi uczniów na zadania otwarte w wariancie swobodnej rozmowy z chatbotem oraz w przypadku udzialania przez chatbot wsparcia typu metakognitywnego.

Pytania badawcze

W badaniu sprawdzimy m.in.:

-    czy uczniowie korzystający z chatbota AI uzyskują wyższe wyniki w zadaniach otwartych niż uczniowie pracujący bez takiego wsparcia;
-    czy sposób udzielania pomocy przez AI (metakognitywny/ tradycyjny) wpływa na jakość odpowiedzi;
-    czy korzystanie z AI przynosi takie same korzyści w przypadku krótkich odpowiedzi i dłuższych wypowiedzi argumentacyjnych;
-    czy efekty korzystania z AI różnią się w zależności od poziomu umiejętności ucznia i jego wcześniejszych doświadczeń z AI;
-    czym różnią się odpowiedzi tworzone z pomocą AI od odpowiedzi przygotowywanych samodzielnie.

Grupy docelowe

Badaniem zostanie objętych około 400–600 uczniów szkół ponadpodstawowych, przede wszystkim klas okołomaturalnych, z około 8–15 szkół współpracujących z IBE.

Przebieg projektu

Uczniowie będą rozwiązywać zadania wymagające analizy tekstu i formułowania własnych odpowiedzi. W zależności od warunku badania będą pracować samodzielnie, bez dostępu do AI, albo z dostępem do chatbota. W części badania chatbot będzie udzielał standardowej pomocy, a w części – wskazówek wspierających samodzielne myślenie i analizowanie własnego sposobu rozwiązywania zadania (wskazówki metakognitywne). Każdy uczeń weźmie udział w warunku samodzielnym oraz w warunku pracy z dostępem do chatbota, dzięki czemu będzie można porównać jego wyniki w różnych sytuacjach. Odpowiedzi uczniów zostaną ocenione przez dedykowany system AI, wytrenowany na danych z tych samych zestawów zadań. Zebrane odpowiedzi mogą również posłużyć do dalszych badań nad automatycznym ocenianiem wypowiedzi uczniowskich i rozpoznawaniem tekstów tworzonych z pomocą AI.