Laboratorium cyfrowej nieufności

Autor: Alina Guzik
Praca: Małe grupy: 3-6 Czas: 46–90 minut Interakcja: Wysoki Koncentracja: Wysoki Przygotowanie: Wysoki
Laboratorium cyfrowej nieufności

Dlaczego warto?

Metoda polega na systematycznej weryfikacji treści generowanych przez AI poprzez ich rozkładanie na elementy i ocenę wiarygodności każdego z nich. Studenci pracują na materiałach, identyfikują twierdzenia wymagające sprawdzenia, konfrontują je ze źródłami i analizują spójność argumentacji. Laboratorium cyfrowej nieufności rozwija zdolność krytycznej analizy, uczy świadomego korzystania z narzędzi AI i wzmacnia odpowiedzialność za interpretację informacji. Pokazuje, że poprawny język i spójna forma nie są wystarczającymi wskaźnikami jakości, a rzetelność wymaga dowodów, kontekstu i precyzji. W praktyce metoda ta odtwarza logikę recenzji naukowej oraz procesy weryfikacji informacji stosowane w środowiskach eksperckich, w których każda teza podlega sprawdzeniu. W wariancie analitycznym studenci otrzymują tekst wygenerowany przez AI i przygotowują jego audyt: wskazują nieścisłości oraz luki w argumentacji wraz z odniesieniem się do źródeł. W wariancie konfrontacyjnym formułują zapytania w taki sposób, aby skłonić AI do generowania treści potencjalnie problematycznych, a następnie dokumentują i klasyfikują błędy. W wariancie porównawczym zestawiają odpowiedzi AI z literaturą naukową lub materiałami eksperckimi: analizują różnice w jakości, precyzji i sposobie argumentacji.

Praktyczny przykład

Kurs: Metodologia badań naukowych
Temat: Weryfikacja wiarygodności źródeł i argumentacji w dobie AI
Zespoły przeprowadzają pogłębioną analizę artykułu wygenerowanego przez AI, dotyczącego kontrowersyjnej hipotezy naukowej. Celem jest identyfikacja niezweryfikowanych lub zmyślonych danych, błędów logicznych oraz potencjalnych uprzedzeń obecnych w sposobie argumentowania.

Rozgrzewka (10 min)
Przedstaw problem: „AI twierdzi, że [WSTAW KONTROWERSYJNĄ TEZĘ], powołując się na autorytety. Czy możemy jej ufać?”. Studenci w grupach wypisują 3 powody, dla których AI może próbować ich oszukać (np. brak dostępu do najnowszych badań, tendencja do zadowalania użytkownika, uproszczenia kulturowe).

Prowokacja i Generowanie (10 min)
Zespoły tworzą prompt, który ma zmusić AI do wygenerowania tekstu o wysokim stopniu ryzyka błędu, np.: „Napisz artykuł naukowy o zaletach teorii X, podaj nazwiska ekspertów, daty publikacji i konkretne statystyki”. Studenci kopiują wynik do wspólnego dokumentu.

Audyt merytoryczny – Sekcja zwłok (20 min)
Studenci dzielą tekst na zdania i poddają je weryfikacji krzyżowej.
Weryfikacja źródeł: „Czy te nazwiska istnieją? Czy te publikacje są w Scopusie?”
Test logiczny: „Czy wniosek faktycznie wynika z podanych przesłanek?”
Analiza przymiotników: „Ile w tekście jest konkretów, a ile tak zwanego watowania?”.

Raport z halucynacji (10 min)
Zespoły opracowują mapę błędów, w której oznaczają kolorem czerwonym nieprawdziwe informacje, a kolorem żółtym – półprawdy i nieścisłości. Każda grupa przygotowuje jeden konkretny dowód potwierdzający błąd, np. przywołanie autora, którego publikacja nie mogła powstać w podanym czasie.

Podsumowanie i refleksja (10 min)
Krótka dyskusja: „Jaki błąd AI był najtrudniejszy do wyłapania i dlaczego?”. Głosowanie na „Najbardziej bezczelne kłamstwo AI”.

Kiedy działa najlepiej?

  • Gdy studenci posiadają już podstawową wiedzę w danej dziedzinie i mogą poczuć się pewnie jako eksperci oceniający maszynę.
  • Przed pisaniem prac dyplomowych, aby zniechęcić do bezkrytycznego kopiowania źródeł z czatów.

Kiedy unikać?

  • Przy tematach zupełnie nowych studenci mogą nieświadomie uznać halucynację za fakt.
  • Gdy nie ma dostępu do wiarygodnych baz źródłowych w celu weryfikacji.

Wyzwania

  • Sprawdzanie wszystkiego jest nużące → rozdziel role w grupie: jedna osoba sprawdza nazwiska, druga logikę, trzecia dane liczbowe.

Dopasuj poziom

Łatwiej → Podaj studentom tekst wygenerowany wcześniej, w którym umiesz zlokalizować błędy. Pomóż im nakierowującymi pytaniami.

Trudniej → Student musi stworzyć prompt, który celowo wprowadzi AI w błąd, a potem opisać mechanizm, który sprawił, że bot uległ prowokacji.

 

Podpowiedzi

  • Poproś studentów, by zapytali AI o to samo w trzech różnych językach (np. polski, angielski, chiński) i porównali różnice w faktach.
  • Nagradzaj grupę, która znajdzie najbardziej subtelną, trudną do wykrycia halucynację.
  • Jeśli grupa nie znalazła błędów, wskaż im jeden ukryty błąd i zapytaj, dlaczego go przeoczyli.

Jak oceniać?

Ocena kształtująca

Studenci pokazują kolejne wersje promptu i wyjaśniają, co oraz dlaczego zmieniali. Nauczyciel komentuje ich pracę, zadaje pytania naprowadzające i daje wskazówki, które pomagają poprawić prompt. Celem oceny jest rozwijanie świadomości, jak sposób formułowania poleceń wpływa na odpowiedzi AI.

Ocena sumująca

Studenci oddają finalny prompt, odpowiedź wygenerowaną przez AI oraz krótkie uzasadnienie przyjętej strategii. Nauczyciel ocenia końcowy efekt według ustalonych kryteriów, np. jasności promptu, trafności odpowiedzi, jakości uzasadnienia oraz odpowiedzialnego wykorzystania AI.