Udzielamy informacji o programach pomocowych realizowanych przez PARP.
Ewaluacja oparta na teorii w złożonym otoczeniu społeczno-ekonomicznym
Pobierz wybrany format publikacji:
„Ewaluacja oparta na teorii w złożonym otoczeniu społeczno-ekonomicznym” to publikacja poświęcona teorii i praktyce ewaluacji interwencji publicznych.
Inspiracją dla tematyki publikacji były wyzwania związane z prowadzeniem ewaluacji inicjatyw publicznych w złożonym i zmieniającym się otoczeniu. Ich przykładem są m.in. wyzwania realizacji programów proinnowacyjnych, w obliczu różnego typu kryzysów gospodarczych i zmian w postawach konsumentów, w modelach biznesowych czy funkcjonowaniu organizacji. Przy tego typu uwarunkowaniach zarówno założenia programu, jak i logika prowadzonych prac ewaluacyjnych, powinny być na bieżąco dostosowywane, co doskonale opisuje prof. Michael Quinn Patton w rozdziale „Ewaluacja rozwojowa” otwierającym publikację.
Rozwój działań ewaluacyjnych stymuluje również Komisja Europejska. Wskazuje ona na konieczność, w obecnych realiach rynkowych, bardziej rygorystycznego podejścia metodologicznego w ewaluacji (w tym także podejścia innowacyjnego i eksperymentalnego). Pozwoliłoby to na wyjaśnienie faktycznych mechanizmów interwencji i uzyskanie wiarygodnych informacji o rzeczywistych efektach polityk. Jednym z rekomendowanych do ewaluacji polityki spójności Unii Europejskiej (UE) na lata 2014-2020 (oraz ewaluacji ex post wsparcia z perspektywy 2007-2013) jest podejście oparte na teorii (theory-based evaluation, TBE). Jego stosowanie powinno umożliwić wyjaśnienie zmian zachodzących w wyniku interwencji, ale także przyczynić się do poprawy jakości i użyteczności samej ewaluacji.
W publikacji dokonano uporządkowania licznych koncepcji ewaluacji opartych na teorii (tekst Katarzyny Hermann-Pawłowskiej i Pauliny Skórskiej), scharakteryzowano przykładową metodologię, która doskonale adresuje idee TBE (tekst Marcina Kocóra i Barbary Worek, dotyczący techniki QCA tj. komparatywnej analizy jakościowej, pomocnej w odkrywaniu mechanizmów przyczynowych interwencji), a następnie pokazane zostały konkretne realizacje ewaluacji opartych na teorii lub ewaluacji łączących podejście CIE i TBE (theory-based impact evaluation, TBIE).
Publikacja przedstawia również doświadczenia krajowych ekspertów z badań TBIE realizowanych dla PARP (tekst Macieja Koniewskiego i Seweryna Krupnika, „Jak lepiej zrozumieć wyniki analiz kontrfaktycznych? Dobór beneficjentów do badań jakościowych, wykorzystujący dopasowanie statystyczne...” oraz Łukasza Widła-Domaradzkiego i Dominiki Wojtowicz, „Stratified Propensity Score Matching - quasi-eksperymentalny schemat badawczy wykorzystywany w sytuacji braku zmiennej zależnej”). Dopełniają je idee i dokonania zagraniczne, pośrednio również dotyczące PARP (dwa teksty odwołujące się do przykładów ewaluacji ex post wsparcia polityki spójności UE na lata 2007-2013 -dla małych i średnich przedsiębiorstw oraz dla dużych podmiotów – odpowiednio tekst Emanueli Sirtori, Eleny Vallino i Silvii Vignetti, przedstawiający zastosowanie techniki BNA w testowaniu teorii interwencji, oraz rozdział przygotowany przez Andrása Kaszapa, Jan-Philippa Kramera i Rafała Trzcińskiego, prezentujący m.in. zastosowanie analizy kontrybucji w TBE).
Publikacja została wydana przez PARP na XII Międzynarodową Konferencję Ewaluacyjną – Evaluation that matters. Ways to improve public policies (Wrocław, 21-22 czerwca 2017 r.) – zorganizowaną we współpracy z Ministerstwem Rozwoju, w ramach polskiej Prezydencji w Grupie Wyszehradzkiej.
Spis treści
Wprowadzenie
I. Ewaluacja rozwojowa
II. Przegląd systematyczny koncepcji ewaluacji opartej na teorii
III. Porównawcza analiza jakościowa w ewaluacji wpływu opartej na teorii
IV. Badanie teorii interwencji przy użyciu analizy sieci bayesowskiej: wyniki pilotażowego działania dotyczącego wsparcia MŚP
V. Zastosowanie analizy kontrybucji jako podejścia ewaluacji opartej na teorii w ewaluacji ex post wsparcia dla dużych przedsiębiorstw w ramach programów Polityki Spójności UE 2007-2013
VI. Jak lepiej zrozumieć wyniki analiz kontrfaktycznych? Dobór beneficjentów do badań jakościowych, wykorzystujący dopasowanie statystyczne, na przykładzie ewaluacji wpływu Programu Operacyjnego Innowacyjna Gospodarka 2007-2013
VII. Stratified Propensity Score Matching – quasi-eksperymentalny schemat badawczy, wykorzystywany na potrzeby ewaluacji wpływu opartej na teorii, w sytuacji braku zmiennej zależnej
VIII. Ewaluacja wspierana teorią w badaniach systemu wyboru projektów innowacyjnych w programach operacyjnych na lata 2014-2020
IX. Doświadczenia w wykorzystaniu ewaluacji opartej na teorii na poziomie regionalnym