Ewaluacja w polityce społecznej

Transkrypt

1 Ewaluacja w polityce społecznej Dane i badania w kontekście ewaluacji metody ilościowe Dr hab. Ryszard Szarfenberg Instytut Polityki Społecznej UW rszarf.ips.uw.edu.pl/ewalps/dzienne/ Rok akademicki 2017/2018

2 Od pytań ewaluacyjnych do ocen ewaluacyjnych podejście ilościowe Ewaluacja ilościowa Projekt i kryteria Jaka jest ocena projektu pod względem wybranych kryteriów? Metody ilościowe Źródła danych ilościowych o projekcie Uzyskiwanie danych Techniki uzyskiwania danych Uzyskane dane ilościowe o projekcie Analizowanie danych Techniki analizowania danych Wyniki analizy danych ilościowych Ocena Odpowiedź na pytania o ocenę projektu pod względem wybranych kryteriów

3 Podejścia ilościowe na skali wiarygodności naukowej Dowody najbardziej wiarygodne naukowo Poziom I Systematyczne przeglądy eksperymentów a) losowych b) nielosowych Poziom II Pojedyncze eksperymenty a) losowe b) nielosowe Poziom III Systematyczne przeglądy badań korelacyjnych / obserwacyjnych Poziom IV Pojedyncze badania korelacyjne / obserwacyjne Poziom V Systematyczne przeglądy badań opisowych, jakościowych Dowody najmniej wiarygodne naukowo Poziom VI Pojedyncze badania opisowe, jakościowe Poziom VII Opinie władz, komitetów ekspertów D. F. Polit, C. T. Beck, Essentials of Nursing Research, 2010

4 Zastosowania badań ilościowych do identyfikowania i mierzenia wpływu projektu na adresatów Zidentyfikowanie i zmierzenie wpływu produktów projektu na jego adresatów konieczne jest dla oceny ewaluacyjnej pod względem kilku kryteriów ewaluacyjnych Skuteczność wymaga oceny osiągniętego wpływu projektu na adresatów Efektywność w wersji koszty do skuteczności wymaga porównania kosztów z osiągniętym wpływem projektu na adresatów Użyteczność - wymaga porównania potrzeb z osiągniętym wpływem na adresatów Zidentyfikowanie i zmierzenie wpływu produktów projektu na adresatów wymaga Odróżnienia wpływu projektu od wpływu innych czynników na adresatów Zmierzenia wyłącznie wpływu projektu na adresatów

5 Schematy badań ilościowych, których celem jest pomiar osiągniętego wpływu projektu na adresatów Pretest posttest, czyli pomiar tego, na co chcemy wpłynąć projektem przed jego realizacją i po jego zakończeniu Eksperyment, czyli pretest posttest z losowo dobraną grupą eksperymentalną i kontrolną Quasi-eksperyment, czyli pretest posttest, ale odbiegający od ideału eksperymentu Z grupą porównawczą o charakterze nielosowym Szeregów czasowych z kilkoma pretestami i posttestami Tylko posttest, czyli brak pretestu J. D. Hawkins, B. Nederhood, Podręcznik ewaluacji programów profilaktycznych, 1994 (oryginał 1987, tłumaczenie i wydanie sfinansowano z programu Promocja badań ewaluacyjnych w profilaktyce uzależnień )

6 Pretest - posttest Stan problemu, potrzeb jednostki /grupy docelowej przed projektem Projekt - oddziaływanie na jednostkę/grupę Stan problemu, potrzeb jednostki /grupy docelowej po projekcie problemu, czyli pretest Porównanie wyników pomiarów w celu wnioskowania o wpływie projektu na jego adresatów problemu, czyli posttest czas

7 Eksperyment Grupa docelowa projektu L o s o w a n i e grupie eksperymentalnej przed projektem grupie kontrolnej przed projektem Projekt - oddziaływanie na jednostkę/grupę grupie eksperymentalnej po projekcie grupie kontrolnej po projekcie problemu w obu grupach, czyli pretest Porównanie wyników pomiarów w celu wnioskowania o wpływie projektu na jego adresatów czas problemu w obu grupach, czyli posttest

8 Quasi-eksperyment z grupą porównawczą Grupa docelowa projektu grupie eksperymentalnej przed projektem grupie porównawczej przed projektem Projekt - oddziaływanie na jednostkę/grupę grupie eksperymentalnej po projekcie grupie porównawczej po projekcie problemu w obu grupach, czyli pretest Porównanie wyników pomiarów w celu wnioskowania o wpływie projektu na jego adresatów problemu w obu grupach, czyli posttest czas

9 Quasi-eksperyment z szeregami czasowymi grupie docelowej przed projektem grupie docelowej przed projektem Projekt oddziaływań na jednostkę/grupę grupie docelowej po projekcie grupie docelowej po projekcie problemu, czyli pretest 1 problemu, czyli pretest 2 problemu, czyli posttest 1 problemu, czyli posttest 2 czas

10 Tylko posttest w dwóch wariantach Wariant jednorazowego posttestu Projekt - oddziaływanie na jednostkę/grupę Stan problemu jednostka/grupa docelowa po projekcie problemu, czyli posttest czas Wariant z szeregiem posttestów Projekt - oddziaływanie na jednostkę/grupę grupie docelowej po projekcie grupie docelowej po projekcie problemu, czyli posttest 1 problemu, czyli posttest 2 czas

11 Odsetek osób z problemem Odsetek osób z problemem Wizualizacja wyników czterech schematów Pretest-posttest Eksperyment Grupa kontrolna Grupa poddana oddziaływaniu Grupa poddana oddziaływaniu pretest posttest pretest posttest J. D. Hawkins, B. Nederhood, Podręcznik ewaluacji programów profilaktycznych, 1994 (oryginał 1987, tłumaczenie i wydanie sfinansowano z programu Promocja badań ewaluacyjnych w profilaktyce uzależnień )

12 Odsetek osób z problemem Odsetek osób z problemem Wizualizacja wyników czterech schematów Quasi-eksperyment z grupą porównawczą Quasi-eksperyment z szeregiem czasowym Grupa poddana oddziaływaniu Grupa porównawcza Grupa poddana oddziaływaniu pretest posttest pretesty posttesty J. D. Hawkins, B. Nederhood, Podręcznik ewaluacji programów profilaktycznych, 1994 (oryginał 1987, tłumaczenie i wydanie sfinansowano z programu Promocja badań ewaluacyjnych w profilaktyce uzależnień )

13 Przyczynowość kontrfaktyczna ogólny schemat pożądanego wpływu projektu na problem Całkowity wpływ projektu na stan problemu w tej grupie w stosunku do tego, co by się wydarzyło, gdyby nie projekt Stan problemu w grupie adresatów projektu Zmiana, która by zaszła gdyby nie było projektu, zwiększenie problemu w tej grupie Zmiana zaobserwowana, zmniejszenie problemu w tej grupie Stan problemu przed interwencją projektu Gdyby nie interwencja projektu, to stan problemu byłby w tym punkcie Interwencja poprzez projekt spowodowała, że stan problemu jest w tym punkcie pretest posttest czas Projekt

14 losowanie Problem do rozwiązania Potrzeba do zaspokojenia Grupa docelowa losowanie Schemat eksperymentalny jako podstawa do obliczenia wpływu projektu Projekt społeczny Wpływ projektu P E1 P K1 projekt społeczny P E2 P K2 d=(p E2 -P E1 )-(P K2 -P K1 ) d wpływ Jest to istotnie statystyczna różnica między różnicami post- i pretestów dla grupy eksperymentalnej i dla grupy kontrolnej E. Babbie, Badania społeczne w praktyce, 2004, s. 248, 257

15 Uogólnianie wniosków z eksperymentów Eksperymenty w ewaluacji projektów społecznych przeprowadzane są po to, aby zidentyfikować i zmierzyć ich wpływ na problemy adresatów Załóżmy, że mamy eksperyment przeprowadzony z niewielkimi grupami eksperymentalną i kontrolną, który zidentyfikował wpływ projektu na adresatów i umożliwił pomiar wpływu, który okazał się znaczący Czy można na podstawie tego eksperymentu wnioskować, że podobny projekt zastosowany do podobnej grupy w innej lokalizacji będzie miał również zbliżony wpływ? Pytanie dotyczy uogólnienia wyników eksperymentu na całą populację, aby móc uogólniać trzeba dysponować odpowiednio dużymi i reprezentatywnymi próbami

16 Populacja 100 osób Dobór próby w badaniach ilościowych Przebadanie wszystkich 100 osób nie jest dużym problemem, ale przy większych populacjach trzeba dobrać próbę Próba oparta na łatwej dostępności jest wygodna, ale niereprezentatywna dla populacji E. Babbie

17 Dobór losowy E. Babbie

18 Dobór losowy z próbą warstwową Populacja została uporządkowana według płci i rasy, od losowo wybranego numeru 3 losowana jest co 10 osoba E. Babbie