Do realizacja tego zadania zalicza się weryfikację poprawności rozwiązań zaproponowanych przez realizatora (wykonawcę), czyli:

Transkrypt

1 Opis wymagań dotyczących usług w zakresie ewaluacji produktów projektu innowacyjnego w zakresie opracowania i wdrożenia koncepcji, metodyki oraz narzędzi badań wskaźników jakości życia i jakości usług publicznych w Gminie Miejskiej Kraków i Gminie Miejskiej Poznań Urząd Miasta Krakowa poszukuje eksperta ds. ewaluacji produktów projektu w zakresie opracowania i wdrożenia koncepcji, metodyki oraz narzędzi badań wskaźników jakości życia i jakości usług publicznych w Gminie Miejskiej Kraków i Gminie Miejskiej Poznań w ramach innowacyjnego projektu partnerskiego: współfinansowanego ze środków POKL. Zadaniem eksperta będzie przeprowadzenie ewaluacji bieżącej i końcowej projektu w zakresie produktu obejmującego opracowania i wdrożenia opracowania i wdrożenia koncepcji, metodyki oraz narzędzi badań wskaźników jakości życia i jakości usług publicznych w Gminie Miejskiej Kraków i Gminie Miejskiej Poznań. Ewaluacja bieżąca obejmować będzie weryfikację, ocenę założeń produktu, weryfikację i ocenę procesu jego aktualizacji, wdrażania i testowania, w tym formułowanie rekomendacji i wskazówek zapewniających odpowiednią jakość produktu. Ewaluacja końcowa obejmować będzie weryfikację, ocenę oraz sformułowanie rekomendacji i wskazówek w celu zapewnienia odpowiedniej jakości produktu finalnego projektu. Szczegółowy zakres obu rodzajów ewaluacji przedstawiono poniżej: EWALUACJA BIEŻĄCA (ANG. ON GOING) W zakresie ewaluacji bieżącej do zadań eksperta należałoby ocena, czy poszczególni realizatorzy (wykonawcy) realizują zadania im przypisane oraz czy wykonują je we właściwy z punktu widzenia celów projektu sposób. Praca eksperta w trakcie trwania projektu ma na celu zapewnienie wysokiej jakości produktu końcowego w postaci katalogu wskaźników (oraz związanych z nim koncepcji, metodyki i narzędzi badawczych), który zostanie oceniony zgodnie z kryteriami zalecanymi przez POKL 1 na etapie ewaluacji końcowej. Do realizacja tego zadania zalicza się weryfikację poprawności rozwiązań zaproponowanych przez realizatora (wykonawcę), czyli: 1. Weryfikację metodologicznej poprawności i spójności koncepcji, metodyki oraz wskaźników proponowanych do ujęcia w katalogu wskaźników jakości życia i jakości usług publicznych zgłoszonych w ramach projektu, z uwzględnieniem wymagań dla jakości danych i potrzeb informacyjnych GMK i GMP; 1 Na podstawie opracowania Miniprzewodnik po ewaluacji projektów innowacyjnych PO KL. Zalecenia Krajowej Instytucji Wspomagającej dostępnego na stronie internetowej kiw/

2 2. Weryfikację metodologicznej poprawności procesu badawczego, w tym konfiguracji związków między cechami istotnymi z punktu widzenia celów badań, zakresu standardowych baz danych, procedur analiz statystycznych, wzorów raportów 3. Weryfikację i ocenę sposobu określenia populacji badawczej, wyboru grup docelowych objętych badaniami, sposobu doboru i liczebności próby zapewniającej reprezentatywność i wiarygodność uzyskanych wyników. Weryfikacja poprawności rozwiązań zaproponowanych przez Wykonawcę. 4. Weryfikację i ocenę sposobu budowy kwestionariuszy badawczych i sposobem formułowania pytań z punktu widzenia poprawności metodologicznej oraz spójności z celami i koncepcją badań oraz katalogiem wskaźników JŻ i JUP. 5. Weryfikację i ocenę metodologicznej poprawności planu analizy statystycznej (sposobu wykorzystania pytań w analizie i prezentacji wyników). 6. Weryfikację i ocenę badań pilotażowych i standaryzacyjnych, w tym : a. Weryfikacja pytań (z punktu widzenia ich doboru pod względem merytorycznym i sposobu sformułowania) b. Weryfikacja projektów kwestionariuszy z punktu widzenia czasu trwania wywiadów i planu analizy statystycznej, c. Weryfikacja określenia rodzajów grup i liczebności respondentów poddanych badaniom pilotażowym, 7. Ocenę metodologicznej i merytorycznej poprawności raportów z badań opracowanych przez realizatora (wykonawcę) a. poprawności doboru przez wykonawcę badań metod i technik badawczych, b. poprawności opracowanych narzędzi badawczych, w tym spełnienia warunków zapewniających poprawność kwestionariusza w celu przeprowadzenia badań, c. spełnienia wymagań w zakresie doboru próby, wyboru grup docelowych objętych badaniami zaproponowanych przez wykonawcę przeprowadzającego badania, d. poprawności struktur baz danych przygotowanych w celu przeprowadzenia badań oraz poprawności baz danych dostarczonych przez wykonawcę po przeprowadzeniu badań w Krakowie i Poznaniu, e. zasadności wyboru statystycznych procedur analizy wskaźników dokonanych przez Wykonawcę, f. adekwatności sposobu i poprawności prezentacji wyników.

3 Efektem ewaluacji bieżącej będzie zbiór rekomendacji, wskazówek i zaleceń formułowanych na bieżąco w trakcie wdrażania i testowania koncepcji, metodyki i narzędzi badawczych wskaźników jakości życia i jakości usług publicznych. EWALUACJA KOŃCOWA (ANG. EX POST)W zakresie ewaluacji końcowej do zadań eksperta należeć będzie merytoryczna ocena bezpośrednich efektów końcowych wdrożenia projektu po zakończeniu obu seriach badań, (w tym katalogu wskaźników, raportów z badań, metodyki i narzędzi) oraz potwierdzenie osiągnięcia rezultatów projektu określonych we wniosku projektu MJUP z wykorzystaniem odpowiednich narzędzi ewaluacji i oceny jak np. obserwacje, testy, studia przypadków, wywiady pogłębione z użytkownikami. Na tym etapie oceny, utworzony i przetestowany katalog wskaźników musi zostać oceniony z punktu widzenia następujących kryteriów ewaluacyjnych 2 : a. Trafności (cele a potrzeby) rozumianej jako ocena stopnia zgodności założonych celów katalogu wskaźników z faktycznymi potrzebami jego odbiorców. b. Efektywności (nakłady a efekty) rozumianej jako ocena relacji uzyskanych efektów końcowych do poniesionych nakładów. c. Skuteczności (plan a wykonanie) rozumianej jako ocena sposobu wykonania założonych w projekcie celów katalogu wskaźników bilans korzyści i strat. d. Użyteczności (efekty końcowe a potrzeby) rozumianej jako ocena zgodności efektów końcowych projektu, czyli katalogu wskaźników z potrzebami jego odbiorców/użytkowników. e. Trwałości (oddziaływanie projektu po jego zakończeniu) rozumianej jako ocena trwałości zaproponowanych rozwiązań, czyli katalogu wskaźników po zakończeniu trwania projektu. Efektem ewaluacji końcowej musi być raport podsumowujący ocenę bezpośrednich efektów i rezultatów projektu w zakresie wskaźników jakości życia i jakości usług. SKRÓCONY OPIS PRZEDMIOTU EWALUACJI: Przedmiotem ewaluacji będą następujące produkty częściowe projektu: 1. Opracowanie Opis koncepcji, metodyki i narzędzi badań wskaźników jakości życia i jakości usług publicznych, z uwzględnieniem konicznej aktualizacji opracowania przed oraz przeprowadzeniem badań społecznych w 2013 i 2014 r. Szczególnym elementem opracowania jest katalog wskaźników dziedzinowych dla 15 dziedzin zarządzania, zawierający wskaźniki jakości życia i jakości usług publicznych z uwzględnieniem pozostałych produktów częściowych wykorzystujących ww. wskaźniki, jak np. zbiory zasad ogólnych dotyczące monitorowania jakości usług publicznych czy zasad sporządzania programów sektorowych / strategicznych. 2. Przygotowanie i przeprowadzenie badań społecznych w Krakowie i Poznaniu w roku 2013 i 2014, opracowanie raportów z badań, aktualizacja katalogu wskaźników. 2 Ibidem.

4 3. Przygotowanie i przeprowadzenie szkoleń dla kadry zarządzającej w GMK i GMP w zakresie wykorzystania wskaźników do zarządzania rozwojem i działalnością JST. Podstawowe informacje o projekcie, jego produkcie, w tym opracowanie, o którym mowa w pkt 1 dostępne są na stronie: Wymagania dotyczące oferentów: 1. wykształcenie wyższe socjologiczne, w tym w zakresie metodologii badań społecznych i statystyki, 2. udokumentowane doświadczenie praktyczne i dorobek naukowy w zakresie metodologii badań ewaluacyjnych, 3. udokumentowane doświadczenie w zakresie prowadzenia badań wskaźników jakości życia i jakości usług publicznych, w tym w zakresie konstruowania, opracowywania narzędzi badawczych, koordynacji badań, prowadzenia analiz statystycznych lub / i 4. udokumentowane doświadczenie w zakresie ewaluacji polityk publicznych, 5. wysokie zdolności analityczne, zdolność definiowania i strukturyzowania problemów, formułowania i sprawdzania hipotez, poszukiwania rozwiązań, 6. dobra znajomość specjalistycznych programów do prowadzenia analiz statystycznych (np. SPSS, Statistica) oraz możliwość dostępu do oprogramowania SPSS, 7. dobre umiejętności komunikacji z otoczeniem, umiejętność pracy z zespołem, rozwiązywania sytuacji problemowych, 8. Atutem kandydata będzie udokumentowane doświadczenie w zakresie realizacji zajęć dydaktycznych lub szkoleń z zakresu ewaluacji oraz z zakresu metod ilościowych i jakościowych w badaniach społecznych lub stopień naukowy doktora nauk uzyskany ww. zakresie. Oferty składać mogą osoby fizyczne oraz firmy. Prosimy o przesłanie: 1. CV osoby, która będzie w sposób bezpośredni świadczyć usługi eksperta ds. ewaluacji, z uwzględnieniem wymagań, o których mowa w pkt 1 8 Wymagań dotyczących oferentów, zawierające wykaz projektów badawczych, w których osoba mająca świadczyć usług eksperta brała udział, wraz z charakterystyką projektu, zakresem obowiązków oraz wskazaniem podmiotu, który w razie potrzeby będzie mógł udzielić referencji, 2. Projekt planu ewaluacji zawierający zwięzły opis planowanych działań i metod dla każdego etapu ewaluacji, liczbę roboczodni niezbędnych na realizację poszczególnych etapów i działań oraz 3. proponowaną stawkę roboczogodziny lub stawkę za jeden dzień świadczenia usług. Kryteria wyboru: Zamawiający przy wyborze ofert będzie kierował się następującymi kryteriami wyboru: 1) zbieżnością kompetencji i doświadczenia oferenta z celami i zakresem merytorycznym Projektu MJUP, 2) Ocena planu ewaluacji pogłębiona w trakcie rozmowy kwalifikacyjnej 3) wysokością ceny za proponowane usługi,

5 4) gotowością realizacji zadań przedstawionych w niniejszej ofercie w wyznaczonym terminie. Ocena ofert dokonana będzie zgodnie z poniższymi wzorami: Kryterium waga Ilość punktów Wynik 1) zbieżność kompetencji i doświadczenia oferenta z 0,3 0 3 Waga * ilość punktów celami i zakresem merytorycznym Projektu MJUP ocena CV + rozmowa kwalifikacyjna 2) Ocena planu ewaluacji z 0,3 0 3 Waga * ilość punktów uwzględnieniem rozmowy z kandydatem 3) Wysokość ceny 0,4 Cena min / Waga * współczynnik ceny Cena badana Do negocjacji zaproszeni zostaną kandydaci, którzy uzyskają największą łączną ilość punktów oraz wyrażą gotowość realizacji zadań zgodnie z harmonogramem zaproponowanym przez Zamawiającego. Zamawiający dopuszcza składanie ofert cząstkowych i zastrzega sobie prawo wyboru więcej niż jednej oferty. W takim przypadku wynagrodzenie będzie dzielone na poszczególne usługi. Zamawiający prosi o przedstawienie oferty do dnia 21 marca 2013 r. Przesłane ww. terminie oferty nie będą miały charakteru oferty w rozumieniu prawa handlowego. Po analizie przesłanych ofert Urząd Miasta przeprowadzi negocjacje z wybranymi oferentami. Orientacyjny termin rozmów kwalifikacyjnych z oferentami: marzec Propozycje ofert proszę przesłać w wersji elektronicznej na adres: umk@um.krakow.pl 3 Termin może ulec zmianie.