Prace dotyczą wykorzystania sztucznej inteligencji, w szczególności dużych modeli językowych (LLM), w badaniach edukacyjnych i praktyce szkolnej. Obejmują one przygotowanie narzędzi wspomagających ocenianie uczniów, tworzenie zadań testowych oraz analizę materiału tekstowego. Centralnym elementem prac jest narzędzie do badania sposobów korzystania przez uczniów z AI podczas rozwiązywania zadań.

Cele prac

Celem prac jest tworzenie narzędzi AI wspierających badania i praktykę edukacyjną oraz ich stopniowe testowanie w kontrolowanych warunkach. Priorytetem jest bezpieczeństwo uczestników, ochrona ich danych i ograniczanie ryzyka związanego z błędnymi lub nieodpowiednimi odpowiedziami modeli. Rozwój narzędzi obejmuje kolejne cykle projektowania, testów i udoskonaleń, a rozszerzanie ich zastosowań zależy od wyników wcześniejszej weryfikacji.

Opis prowadzonych prac

Tworzone narzędzia wykorzystywane będą wielowątkowo - jednym z nich jest wspomaganie oceniania prac uczniowskich. W tym przypadku prace dotyczą wykorzystania modeli językowych do wspierania nauczycieli w analizie odpowiedzi uczniów według ustalonych kryteriów. Narzędzia mogą pomagać w identyfikowaniu elementów odpowiedzi istotnych dla oceny, wskazywaniu braków i przygotowywaniu informacji zwrotnej. Ostateczna ocena pozostaje po stronie nauczyciela. Badania mają określić, czy takie wsparcie ułatwia stosowanie kryteriów, ogranicza czas potrzebny na ocenianie i pomaga formułować trafne, zrozumiałe uwagi dla ucznia.
Kolejne narzędzia posłużą do badania interakcji uczniów z AI. Planowane badania zadań otwartych z języka polskiego pozwolą porównać pracę z dostępem do chatbota i bez jego pomocy. Porównane zostaną również dwa rodzaje wsparcia: swobodna rozmowa oraz podpowiedzi metakognitywne, skłaniające ucznia do planowania rozwiązania i sprawdzania własnego rozumowania. Ocenie będą podlegać jakość wypowiedzi, rozumienie i zapamiętywanie treści. Zapis rozmów posłuży do analizy sposobów zadawania pytań i wykorzystywania otrzymanej pomocy.
Prowadzone są rónież prace koncepcyjne w sferze automatyzacji tworzenia zadań testowych. Prace te obejmują sprawdzenie możliwości generowania zadań, kluczy odpowiedzi i kryteriów oceniania zgodnych z określonymi wymaganiami. Ich jakość będzie oceniana przez ekspertów i weryfikowana na podstawie odpowiedzi uczniów. Analizy psychometryczne pozwolą określić m.in. trudność zadań, ich zdolność do różnicowania poziomu umiejętności oraz rzetelność pomiaru.
W tym celu rozwijany jest prototyp środowiska łączącego zadania i kwestionariusze z czatem opartym na modelu językowym. Docelowo umożliwi ono analizowanie odpowiedzi uczestników wraz z przebiegiem rozmowy, przy zachowaniu kontroli nad konfiguracją modelu. Rozważane zastosowania metod przetwarzania języka naturalnego (NLP) obejmują także klasyfikowanie wypowiedzi i wspomaganie kodowania materiału badawczego.

Spodziewane rezultaty

Rezultatami prac będą prototypowe rozwiązania, procedury ich walidacji oraz raporty i publikacje przedstawiające wyniki badań. Dostarczą one podstaw do określenia, które zastosowania AI są przydatne w edukacji, jakie mają ograniczenia i jakiej kontroli jakości wymagają.

Zachęcamy do śledzenia kolejnych etapów prac oraz publikowanych wyników.

Grupy docelowe

Wyniki prac będą użyteczne dla:
- nauczycieli zainteresowanych wspomaganiem oceniania i udzielania informacji zwrotnej;
- badaczy edukacji wykorzystujących analizę tekstu i narzędzia eksperymentalne;
- twórców testów i materiałów edukacyjnych poszukujących metod przygotowania i weryfikacji zadań;
- szkół i instytucji edukacyjnych podejmujących decyzje o zastosowaniu AI.

Uczniowie stanowią główną grupę uczestników planowanych badań oraz odbiorców rozwiązań służących wspieraniu uczenia się.