7. Trafność pomiaru testowego

Transkrypt

1 7. Trafność pomiaru testowego v Pojęcie trafności testu v Rodzaje trafności v Metody szacowania trafności treściowej i kryterialnej v Metody szacowania trafności teoretycznej

2 Przesunięcie akcentu z pojęcia trafności testu na trafność interpretacji wyników danego testu. Definicja w Standardy... (1985, s. 33) "pojęcie trafności dotyczy poprawności wniosków wyprowadzonych na podstawie wyników testowych lub innych form badania" Trafność jest pewnym wnioskiem a nie pomiarem. W podręczniku danej metody mamy podane współczynniki trafności i na ich podstawie wyciągamy wnioski dotyczące trafności konkretnego zastosowania testu.

3 Trafność pomiaru testem to: q stopień, w jakim test mierzy cechę, jaką ma mierzyć; inaczej -trafność zorientowana na konstrukt TRAFNOŚĆ TEORETYCZNA q stopień dokładności przewidywania określonych kryteriów praktycznych; inaczej -trafność podejmowanych decyzji TRAFNOŚĆ KRYTERIALNA

4 Rodzaje trafności pomiaru Trzy rodzaje trafności ("HolyTrinity"): a). trafność treściową (wewnętrzną), b). trafność kryterialną (diagnostyczną i prognostyczną), c). trafność teoretyczną (raczej trzy aspekty trafności, trzy sposoby zbierania danych dotyczących trafności).

5 Trafność Najważniejsza właściwość testu. Zależy od innych właściwości, Trafny test musi spełniać warunki: rzetelności normalizacji standaryzacji obiektywizmu Są to warunki konieczne trafności pomiaru testem, lecz niewystarczające. Trafny test musi być dobrym wskaźnikiem badanej zmiennej latentnej Określenie trafności danego testu -inaczej walidacja testu -polega na zbieraniu i ocenie danych świadczących o trafności określonej interpretacji testu.

6 Trafność treściowa (wewnętrzna, logiczna) contentvalidity Stopień, w jakim treść pozycji testowych jest reprezentatywna dla definicji badanej cechy Badanie zgodności pomiędzy definicją zmiennej badanej przez test, a zawartością treściową pozycji jest w zasadzie równoznaczne z oceną trafności treściowej testu "aby potwierdzić trafność treściową zbioru wyników otrzymanych w teście, należy wykazać, że zachowania demonstrowane w badaniu są reprezentatywną próbką zachowań ujawniających się w interesującej badacza sferze" (Standardy...s. 36).

7 Trafność kryterialna criterion-related validity Zgodność wyników testu z kryterium zewnętrznym, np. powodzenia zawodowego, wypadkowości, diagnozy klinicznej (standard) Trafność kryterialna obejmuje: trafność diagnostyczną - concurrentvalidity (stopień, w jakim test pozwala na ocenę aktualnego kryterium) oraz trafność prognostyczną - predictivevalidity (stopień, w jakim test pozwala na ocenę przyszłego kryterium).

8 Metody szacowania trafności kryterialnej na podstawie korelacji między wynikami testu a określonym kryterium pozatestowym (obliczmy współczynnik korelacji -r, rho) v Kluczowym aspektem jest rzetelność (jak i trafność) samego kryterium, użytego do badania trafności testu; kontaminacja kryterium (skażenie) - np. znajomość wyników jakie o.b. uzyskała w teście, może wpłynąć na ocenę tej osoby względem analizowanej zmiennej kryterialnej (MMPI -diagnoza psychiatry) v Zakres mierzonej cechy wpływa na wielkość korelacji. Im mniejsze zakres (mniejsze rozproszenie wyników), tym niższa korelacja. Ważne w badaniach walidacyjnych (zawężanie grupy badanej).

9 Trafność kryterialna szacowana na podstawie korelacji między wynikami testu a określonym kryterium pozatestowym; z tego względu kluczowym aspektem jest rzetelność (jak i trafność) samego kryterium, użytego do badania trafności testu. Skuteczność testu w diagnozowaniu i /lub prognozowaniu funkcjonowania jednostki w określonej sferze. Autor testu przedstawia dane empiryczne na temat trafności kryterialnej testu, lecz to użytkownik u testu musi podjąć decyzję,, czy test nadaje się do stosowania do określonej grupy.

10 Trafność teoretyczna construct validity Zgodność pomiędzy wynikiem testowym a wartością latentnejcechy, do pomiaru której test został skonstruowany Wjakim stopniu wyniki badań danym testem odzwierciedla cechę psychologiczną (konstrukt), który ma być przedmiotem pomiaru Trafność teoretyczna jest najważniejszym, podstawowym i koniecznym rodzaj trafności.

11 Konstrukt psychologiczny jest pojęciem teoretycznym, wprowadzonym po to, aby wyjaśni nić i uporządkowa dkować określony fragment wiedzy (co tj. lęk, l inteligencja, satysfakcja z życia) Pojęcia te sąs nieobserwowalne,, zaś test jest traktowany jako sposób b ich operacyjnego definiowania Bez potwierdzenia tego, że e test jest trafny teoretycznie jego wyniki sąs psychologicznie bezużyteczne.

12 Metody szacowania trafności teoretycznej Istotą procesu oceny trafności teoretycznej jest odwołanie się do teorii mierzonej cechy. Cronbachi Meehl (2005) wyodrębniają pięć podstawowych sposobów umożliwiających oszacowanie trafności teoretycznej, a mianowicie: 1.analiza korelacji z innymi testami lub zmiennymi 2.badanie wewnętrznej struktury testu 3.analiza różnic międzygrupowych 4.metoda zmian nieprzypadkowych 5.analiza procesu rozwiązywania testu

13 1. Analiza korelacji z innymi testami lub zmiennymi Aby test uznać za trafny nie wystarczy tylko wykazać, że e jego wyniki korelują odpowiednio wysoko z wynikami podobnych testów w (trafność zbieżna) i nie korelują z wynikami testów w mierzących inne cechy (trafność różnicowa) Wskazane ustalenie macierzy "wielu cech - wielu metod".

14 Analiza macierzy "Wielu Cech Wielu Metod" Macierz WC-WM(ang. MTMM matrix) jestprzygotowywana w celu formalnej oceny trafności konwergencyjnej(zbieżnej) i dyskryminacyjnej (różnicowej) pomiaru testem. Analiza ta wymaga wprowadzenia przynajmniejdwóch metod oraz dwóch cech Rodzaje korelacji w macierzy WC-MM Pomiędzy skalami mierzącymi różne cechy w obrębie tej samej metody (różne cechy, ta sama metoda); Pomiędzy skalami mierzącymi te same cechy, ale za pomocą różnych metod (te same cechy, różne metody); Pomiędzy skalami mierzącymi różne cechy za pomocą różnych metod (różne cechy, różne metody).

15 Trafność zbieżna i różnicowa (konwergencyjnai dyskryminacyjna) Zbieżna -pewność, że narzędzie dobrze diagnozuje określone kryterium i tylko to kryterium (np. narzędzie specyficzne dla depresji). Czy osoby cierpiące na inne zaburzenia psychiczne nie osiągają również wysokich wyników w tym teście? W odpowiednio zaplanowanym badaniu empirycznym należy sprawdzić korelację wyniku testu z diagnozą depresji (aspekt zbieżny trafności kryterialnej) oraz korelację wyniku z diagnozą innych chorób (aspekt różnicowy trafności kryterialnej).

16 Pojęcie trafności zbieżnej i różnicowej jest kluczowedla zrozumienia trafności teoretycznej, choć zazwyczajjest ograniczane tylko do analizy macierzy WC-WM. Test powinien mierzyć określoną cechę i nie mierzyć innych cech Pojęcie trafności konwergencyjneji dyskryminacyjnej może odnosić się zarówno do trafności teoretycznej, jak i kryterialnej. Test jest nietrafny, jeśli niczego nie przewiduje lub nie mierzy (brak trafności konwergencyjnej). Test jednak jest także nietrafny, jeśli przewiduje lub mierzy wszystko (brak trafności różnicowej).

17 2. Badanie wewnętrznej struktury testu Zgodność wewnętrzna (homogeniczność) oznacza stopień, w jakim dany test można uznać za miarę jednego konstruktu. Jedna z metod oszacowania - analiza współczynników korelacji każdej pozycji testu z wynikiem ogólnym.

18 Analiza czynnikowa Umożliwia wyodrębnienie grup pozycji testowych bądź skal silnie skorelowanych między sobą i relatywnie słabo między grupami. Grupy pozycji testowych bądź skał, wyróżnione dzięki tej metodzie noszą nazwę czynników. Czynniki interpretowane są jako najważniejsze zmienne odpowiedzialne za zróżnicowanie wyników poszczególnych skal bądź pozycji testowych, składających się na dany czynnik.

19 Dwie odmiany analizy czynnikowej: eksploracyjna analiza czynnikowa konfirmacyjna analiza czynnikowa. Eksploracyjna -wyodrębnienie czynników, dzięki czemu zamiast dużej liczby pozycji testowych otrzymujemy relatywnie niewielką liczbę zmiennych. Umożliwia identyfikację zmiennych mierzonych przez test, jest więc dogodną metodą badania jego trafności.

20 Konfirmacyjna -ma na celu sprawdzenie, czy dany test składa się z określonej na podstawie teorii psychologicznej liczby czynników, czy wyniki danego testu są zgodne z zakładaną teoretyczną strukturą testu. Konfirmacyjna analiza czynnikowa dostarcza specjalnych wskaźników dopasowania modelu zakładającego istnienie określonej liczby czynników, na podstawie których można zweryfikować słuszność takiego modelu teoretycznego.

21 Analiza czynnikowa testów qeksploracyjna analiza czynnikowa (empiryczna klasyfikacja treści skal różnych testów); qkonfirmacyjna analiza czynnikowa (porównanie modelu teoretycznego do danych analiza dobroci dopasowania modelu do struktury danych testowych).

22 Wskaźniki dobroci dopasowania Wartość testu chi 2 (brak istotności) GoodnessofFit Index (GFI; powyżej 0,95) AdjustedGoodnessofFit Index (AGFI; pow. 0,90) NormedFit Index (NFI powyżej 0,90); Wartości indeksu Watkinsachi 2 /df (poniżej 5,0 akceptowalne dopasowanie; poniżej 3,0 znakomite dopasowanie).

23 3. Analiza różnic międzygrupowych Jeżeli test jest trafną miarą określonego konstruktu, to wyniki otrzymane przez skrajne grupy powinny się znacząco różnić Testy zdolności analiza wyników testu inteligencji w różnych grupach zawodowych. Wniosek: im bardziej wymagający sprawności intelektualnej jest dany zawód, tym wyższy poziom inteligencji wykazują pracownicy (testy "t", analiza wariancji).

24 4. Analiza zmian nieprzypadkowych q Sposób b oszacowania - 2-krotne badania tym samym testem, między badaniami wprowadza się oddziaływanie eksperymentalne. q Zmiany rozwojowe wyniki testów zdolności powinny wykazywać systematyczną tendencję wzrostową wraz ze wzrostemwieku w dzieciństwie oraz tendencję regresywną w dorosłości. q Wyniki niektórych skal osobowości także powinny wykazywać zmiany z wiekiem aktywność temperamentalna powinna systematycznie maleć wraz z wiekiem, z uwagi na malejące zasoby energii.

25 5. Analiza procesu rozwiązywania testu Polega na analizowaniu zadań testowych z punktu widzenia procesów przetwarzania informacji. W sposób eksperymentalny manipuluje się złożonością zadania, dostarcza kolejnych wskazówek do rozwiązywania po to, aby określić, jakie procesy przetwarzania informacji są zaangażowane w rozwiązywanie określonych zadań.

26 1. Pojęcie trafności ZAGADNIENIA 2. Trafność teoretyczna a kryterialna 3. Trafność teoretyczna a fasadowa 4. Etapy oceny trafności teoretycznej 5. Trafność diagnostyczna i prognostyczna 6. Metody szacowania trafności kryterialnej 7. Trafność konwergencyjna i dyskryminacyjna 8. Homogeniczność testu 9. Zastosowanie analizy czynnikowej eksploracyjnej i konfirmacyjnej 10. Wskaźniki dobroci dopasowania 11. Analiza różnic międzygrupowych i zmian nieprzypadkowych