Trafność czyli określanie obszaru zastosowania testu

Transkrypt

1 Trafność czyli określanie obszaru zastosowania testu Trafność jest to dokładność z jaką test mierzy to, co ma mierzyć Trafność jest to stopień, w jakim test jest w stanie osiągnąć stawiane mu cele Trafność testu wskazuje na wielkość błędu spowodowanego rozbieżnością między zamierzeniami autora testu a tym, co test faktycznie mierzy Trafność odzwierciedla relację jaka zachodzi między koncepcją właściwości psychologicznej a użytymi wskaźnikami tej właściwości, czyli adekwatność operacjonalizacji wielkości psychologicznej

2 Rodzaje trafności z punktu widzenia celu, jakiemu służy test (a) ocenianie, na podstawie pomiaru testowego, całokształtu zachowań, których próbkę pobiera test - na przykład, ocena całokształtu wiadomości z geografii (trafność treściowa, [logiczna], [wewnętrzna]) (b) ocenianie posiadania przez osobę badaną - w czasie teraźniejszym lub przyszłym - określonej właściwości psychologicznej innej niż ta, którą test bezpośrednio mierzy (trafność kryterialna) (c) pomiar nasilenia u osoby badanej hipotetycznej właściwości, czyli psychologicznego konstruktu, o którym mają świadczyć odpowiedzi na bodźce testowe (trafność teoretyczna)

3 Trafność fasadowa trafność treściową należy odróżnić od tzw. trafności fasadowej (ang. face validity). trafność fasadowa dotyczy nie tego, co test rzeczywiście mierzy, lecz tego, co wydaje się mierzyć trafność fasadowa opisuje, jak spostrzegają test osoby badane i czy z ich punktu widzenia wydaje się on trafnie mierzyć to, co ma mierzyć. trafność fasadowa zapewnia, że dany test wydaje się w opinii osób badanych adekwatny do określonego celu.

4 Trafność treściowa (inaczej trafność wewnętrzna lub logiczna) zakres w jakim pozycje testowe właściwie reprezentują uniwersum pozycji testowych lub interesujący nas konstrukt zakres, w jakim treść testu stanowi reprezentatywną próbę dziedziny, która ma być przedmiotem pomiaru aby potwierdzić trafność treściową zbioru wyników otrzymanych w teście należy wykazać, że zachowania demonstrowane w badaniu testowym są reprezentatywną próbką zachowań ujawniających się w interesującej badacza sferze

5 Trafność kryterialna Kryterium jest to zachowanie czy właściwość, o której chcemy wnioskować z wyniku ocenianego testu. Kryterium jest to zmienna pozatestowa. Kryterium jest zewnętrzne w stosunku do testu. Kryterium jest pomiarem innej zmiennej, niż ta która mierzy interesujący nas test Trafność kryterialna jest to stopień zgodności pomiarów otrzymanych za pomocą testu, którego trafność oceniamy oraz pomiarów otrzymanych w wyniku oceny kryterium

6 Rodzaje trafności kryterialnej Trafność diagnostyczna: kryterium dla naszego testu jest pomiar zachowania czy cechy aktualnie występującej u osoby badanej Trafność prognostyczna: kryterium dla naszego testu jest pomiar zachowania czy cechy mającej wystąpić w przyszłości u osoby badanej Różnica pomiędzy trafnością diagnostyczną a trafnością prognostyczną nie polega na różnicy w czasie zbierania danych kryterialnych, lecz na tym, że różne są przedmioty badania: przy diagnozie obchodzi nas stwierdzenie stanu istniejącego, przy prognozie - prawdopodobieństwo wystąpienia pewnych skutków stanu aktualnego Kontaminacja kryterium: wyniki testowe nie mogą wpływać na pozycję jednostki w zakresie branego pod uwagę kryterium

7 Trafność teoretyczna Konieczność określenia trafności teoretycznej występuje wtedy, kiedy test ma być interpretowany jako miara pewnego atrybutu lub pewnej właściwości. Konieczność określenia trafności teoretycznej występuje wtedy, kiedy test ma być interpretowany jako miara pewnego atrybutu lub pewnej właściwości.

8 Sposoby badania trafności teoretycznej (1) Analiza różnic międzygrupowych - procedura testowania hipotez o różnym zachowaniu się dwóch grup osób. Hipotezy te wyprowadzane są z teorii mierzonej cechy a badane grupy różnią się ze względu na ogólny wynik w teście (grupa o niskich wynikach vs. grupa o wysokich wynikach) (2) Analiza macierzy korelacji - ocena trafności teoretycznej na podstawie wysokości współczynników korelacji z podobnymi testami (wysokie) i współczynnikami korelacji z testami mierzącymi inne cechy (niskie); zwłaszcza metoda analizy macierzy "wielu cech-wielu metod" Campbella i Fiskego (3) Analiza czynnikowa - wykrywanie czynników odpowiedzialnych za współzmienność wyników testów korelujących ze sobą (4) Analiza struktury wewnętrznej testu - jeżeli można przyjąć w świetle teorii, że mierzona cecha jest cechą homogeniczną, to wysoki współczynnik zgodności wewnętrznej może być traktowany jako dowód trafności teoretycznej (5) Analiza zmian nieprzypadkowych wyników testu - porównywanie wyników dwukrotnego badania tym samym testem. W przerwie między badaniami wprowadza się manipulację eksperymentalną, wyprowadzoną z teorii mierzonej cechy. Wynik porównywania powinien być zgodny z założonymi efektami manipulacji. (6) Analiza procesu rozwiązywania testu - gdy test zawiera zadania do rozwiązania lub polecenia do wykonania to obserwacja kolejności wykonywanych czynności, elementów zadania sprawiających najwięcej trudności, elementów pomijanych, popełnianych błędów dostarcza informacji o mierzonym konstrukcie

9 Badanie trafności teoretycznej testu Analiza różnic międzygrupowych Weryfikowanie hipotez dotyczących różnego zachowania się dwóch grup osób. Hipotezy te wyprowadzane są z teorii mierzonej cechy, a weryfikowane są w oparciu o wyniki testu TEORIA hipotezy dane testowe TEST dane testowe hipotezy X 1 X 2

10 Badanie trafności teoretycznej testu Analiza czynnikowa Celem analizy czynnikowej jest odnalezienie nowej grupy zmiennych, mniej licznej niż grupa zmiennych oryginalnych, które wyrażają to, co jest wspólne między oryginalnymi zmiennymi. Jest to technika statystyczna używana do identyfikowania relatywnie małych grup czynników, mogących reprezentować relacje między grupami wielu wzajemnie skorelowanych zmiennych Zakrzewska, 1994, s. 7 TEORIA INTELIGENCJI Czynnik 1 ROZUMOWANIE WERBALNE Czynnik 2 ORGANIZACJA PERCEPCYJNA Czynnik 3 ODPORNOŚĆ NA DYSTRAKTORY I PAMIĘĆ TEST WAIS-R dane testowe Czynnik 1 ROZUMOWANIE WERBALNE Czynnik 2 ORGANIZACJA PERCEPCYJNA Czynnik 3 ODPORNOŚĆ NA DYSTRAKTORY I PAMIĘĆ

11 Badanie trafności teoretycznej testu Analiza nieprzypadkowych zmian wyników testu Porównywanie wyników dwukrotnego badania tym samym testem w przerwie pomiędzy badaniami wprowadza się oddziaływanie eksperymentalne, wyprowadzone z teorii mierzonej cechy. Wynik porównywania powinien być zgodny z założonymi efektami manipulacji X pretest Kształcenie Terapia Farmakoterapia Cykl leczenia Zwiększanie doświadczeń X postest X pretest X postest poziom lęku ( X pretest ) stressory poziom lęku ( postest X ) X introwersja ( pretest ) silniejsze procesy pobudzenia korowego od procesów hamowania leki uspokajające wzmocnienie procesów hamowania

12 Badanie trafności teoretycznej testu Analiza macierzy korelacji Analiza współczynników korelacji wyników analizowanego testu z innymi testami. Korelacje z wynikami mierzącymi podobne testy powinny być wysokie (trafność zbieżna), a korelacje z wynikami testów mierzących inne cechy powinny być niskie Pięć wielkich cech osobowości mierzonych NEO FFI a PEN mierzone EPQ-R Skale EPQ-R NEU EKS OTW UGD SUM Ekstrawersja Neurotyczność Psychotyczność Skala K -0.25** 0.73** ** 0.71** -0.19** 0.09** -0.09** 0.18** ** -0.11** -0.15** -0.47** 0,39** ** -0.37** 0.45** Na podstawie: Zawadzki, Strelau, Szczepaniak, Śliwińska, Inwentarz osobowości NEO FFI Costy i McRae, 1998, s. 65

13 Badanie trafności teoretycznej testu Analiza struktury wewnętrznej testu Zgodność wewnętrzna (homogeniczność) to stopień, w jakim dany test można uznać za miarę jednego konstruktu (cechy psychologicznej). Jeżeli można przyjąć w świetle teorii, że mierzona cecha jest cechą homogeniczną, to wysoki współczynnik zgodności wewnętrznej może być traktowany jako dowód trafności teoretycznej testu. Współczynniki korelacji między poszczególnymi testami a ogólnym wynikiem w Skali Pełnej, Skali Słownej i Skali Bezsłownej w teście WAIS-R Grupa wiekowa lata Test Skala Skala Skala Pełna Słowna Bezsłowna Wiadomości 0,789 0,864 0,551 Powtarzanie Cyfr 0,675 0,733 0,481 Słownik 0,836 0,882 0,631 Arytmetyka 0,781 0,793 0,633 Rozumienie 0,806 0,816 0,656 Podobieństwa ,805 0,606 Braki w Obrazkach 0,681 0,575 0,717 Porządkowanie Obrazków 0,675 0,571 0,710 Klocki 0,645 0,506 0,734 Układanki 0,534 0,368 0,680 Symbole Cyfr 0,629 0,527 0,668

14 Badanie trafności teoretycznej testu Analiza procesu rozwiązywania testu Analizowanie zadań testowych z punktu widzenia procesów przetwarzania informacji obserwacja kolejności wykonywanych czynności analiza elementów zadania sprawiających najwięcej trudności analiza elementów pomijanych analiza popełnianych błędów wgląd w procesy odpowiadania na pozycje testu zmiana dotychczasowej koncentracji na analizie samych odpowiedzi

15

16