badania ewaluacyjne Flashcards

0
Q

Jaka jest róznica między ewaluacją formatywną a podsumowująca?

A

Jedna służy poprawie jakości wykonania, a druga ogranicza się do podsumowania tego, jak program czy projekt funkcjonuje

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
1
Q

Wskaż cztery typy triangulacji przydatnych w ewaluacji (za Pattonem)

A

1) triangulacja metodologiczna
2) triangulacja żródeł informacji
3) triangulacja analityczna
4) triangulacja teoretyczna

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Na czym polega triangulacja analityczna?

A

Zwiększenie ilości osób analizujących dane

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Na czym polega triangulacja metodologiczna?

A

Polega na kontrolowaniu spójności wniosków formułowanych przy wykorzestaniu różnych metod gromadzenia danych

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Z jakich elementów składa się konceptualizacja ewaluacji?

A

1) określenie potrzeb
2) możliwości realizacji
3) sposobów wykorzestania wyników
4) wyznaczeniu potencjalnych obszarów ryzyka
5) określeniu politycznych implikacji

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Na czym polega operacjonalizacja ewaluacji?

A
  • Określenie wizji ewaluacji

- Oszacowanie niezbędnych zasobów

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Wymień 5 najważniejszych i najczęściej spotykanych kryteriów ewaluacyjnych:

A

Do najczęściej stosowanych kryteriów należą:

  1. Trafność
  2. Skuteczność
  3. Efektywność
  4. Użyteczność
  5. Trwałość
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Jaką rolę pełnią relacje spol. między ewaluatorem a uczestnikami projektu w głównych nurtach ewaluacji?

A

.teoria pospozytywistyczna - relacje jako żródło błedu.

.pragmatyzm - trzeba nimi zarządzić

.krytyczna teoria partycypacji - muszą ulec zmianie

.Interpretatywna - relacje stanowią sedno relacji

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Jaka jest różnica między planowaniem a projektowaniem ewaluazji?

A

Planowania to faza konceptualizacji

Projektowanie to faza operacjonalizacji

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

W jaki sposób ewaluacja przyczynia się do wspierania uczenia się?

A

Poprzez:
.wyjaśnianie czynników i procesów warunkujących działania, ich sukces lub porażkę (w tym także czynników ubocznych);

.weryfikowanie teorii leżących u podstaw danych polityk, programów projektów;

.wyciąganie wniosków dla innych programów i projektów, promowanie dobrych wzorców;

.budowanie zdolności ewaluacyjnych (building capacity).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Jak można opisać relacje między ewaluacja nieformalną i formalną?

A

.Jedna wzmacnia drugą

.są względem siebie komplementarne

.stanowią interaktywne formy wiedzy.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Jakie typy ewaluacje możemy wyróżnić ze względu na podmiot ją przeprowadzający ewaluację?

A

.Ewaluacja wewnętrzna - realizowana przez podmiot znajdujący się w stukturach organizacyjnych instytucji prowadzącej projekt.

.Autoewaluacja - realizowana przez członków zespołu projektowego np. specjalista ds. ewaluacji, który wykonuje również inne obowiązki w projekcie.

.Ewaluacja zewnętrzna - realizowana przez niezależny podmiot, zewnętrzny wobec realizatora projektu.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Jaka jest różnica między planowaniem a projektowaniem ewaluacji?

A

Planowanie to faza konceptualizacji

Projektowanie to faza operacjonalizacji

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Co to jest ewaluacja ex-post?

A

Stanowi ona systematyczną i obiektywną ocenę zakończonego projektu, programu lub polityki w kontekście ich zaplanowania, wdrożenia i osiągniętych rezultatów.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Jakie są 2 zasadnicze etapy planowania ewaluacji?

A

.Konceptualizacja

.Operacjonalizacja

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Jakie są fazy realizacji badania ewaluacyjnego?

A

1) strukturyzacja
2) Obserwacja
3) Analiza
4) Ocena
5) Raportowanie wyników
6) Upublicznienie

16
Q

Jakie funkcje pełni ewaluacja?

A

.Konkluzywna

.Formatywna

.Rozliczeniowa

17
Q

Jak zdefiniować kryterium użyteczności?

A

Użyteczność to ocena stopnia w jakim stopniu zaspokojone
są potrzeby beneficjantów oraz to, w jakiej mierze
interwencja spełniła ich oczekiwania.

18
Q

Co powinno się znaleść w raporcie z ewaluacji?

A
  1. Streszczenie,
  2. Spis treści,
  3. Wprowadzenie
  4. Opis zastosowanej metodologii i żródeł informacji
  5. Opis wyników ewaluacji
  6. Wnioski i rekomendacje
  7. Aneksy
19
Q

Wyniki, wnioski, rekomendacje - jaka to różnica?

A

Podstawowa różnica pomiędzy wynikami, wnioskami i rekomendacjami to funckja którą spełniają.

.Wyniki są stwierdzeniem wystąpienia pewnych faktów,

.Wnioski - oceną tych faktów pod kątem kryteriów, które założyliśmy na początku procesu ewaluacji,

.Rekomendacje - zaleceniami do zastosowania w przyszłości

20
Q

Jak zdefiniować kryterium trwałości?

A

Odnosi się do możliwość kontynuacji działań lub utrzymania jego efektów już po zakończeniu wsparcia otrzymywanego w ramach projektu.

21
Q

Jaka jest różnica między audytorem a ewaluacją?

A

Audyt jest narzędziem kontroli zew. służącej skontrolowaniu wykorzestania środków, a nie służącym poprawie jakości wykonania.

22
Q

Co to są rekomendacje operacyjne?

A

Dotyczące bieżącą realizacji projektu/strategii oraz usprawień w ich obrębie często o charakterze technicznym (ich wdrożenie nie determinuje w sposób bardzo istotny skutecznej i efektywnej realizacji projektu/strategi)

23
Q

Jak dzielimy definicje ewaluacji?

A

.Def. oparte o funkcje,

.Def. oparte o cel,

.Def. oparte o metody ewaluacji

24
Jakie typy rekomendacji wyróżniamy (3 typy)?
1. Rekomendacje operacyjne 2. Rekomendacje kluczowe 3. Rekomendacje strategiczne
25
Jakie 3 kryteria wg Reibena, powinna spełniać ewaluacja by uznać ją za ew. partycypatywną?
1. Interesariusze muszą pełnić aktywną rolę jako podmioty w procesie ewaluacji. 2. Jako, że praktycznie nie jest możliwe aktywne włączenie wszystkich interesariuszy w proces ewaluacji, w procesie realizacji powinni uczestniczyć przynajmniej przedstawiciele beneficjantów, terenowi pracownicy projektu, zarządnicy i donator. 3. Interesariusze winni uczestniczyć przynajmniej w trzech fazach procesu ewaluacji: określeniu zadań, interpretacji danych oraz wykorzestaniu informacji pozyskanych w jej trakcie.
26
Cele ewaluacji ex-ante
.podniesienie jakości dokumentów programowych, tj. strategii lub projektu; .zwiększenie trafności i skuteczności przyszłych działań; .ocena zgodności zaplanowanych działań ze zdiagnozowanymi potrzebami; .ocena wewnętrznej spójności zaprojektowanej interwencji; .identyfikacja możliwych zagrożeń i trudności w realizowaniu działań; .identyfikacja / ocena potrzeb beneficjentów.
27
Cele ewaluacji mid-term
.ocena wstępnych wyników podjętych działań (stopień osiągniętych celów, wykorzystanie środków finansowych, system wdrażania i monitorowania); .podniesienie jakości i trafności projektu/strategii poprzez możliwość wprowadzania modyfikacji; .identyfikacja pojawiających się problemów.
28
Cele ewaluacji ex-post
.ocena efektów działań i ich stopnia zgodności z założonymi planami (celami, rezultatami, oddziaływaniem); .ocena skuteczności, trwałości, efektywności podjętych działań; .identyfikacja nieprzewidzianych skutków działań; .wskazanie kierunków rozwoju.
29
Trafność (odpowiedniość, adekwatnosć)
``` zgodność z potrzebami, pozwalająca ocenić, w jakim stopniu cel projektu/cele strategii odpowiadają zdiagnozowanym potrzebom i problemom (np. czy osoby długotrwale bezrobotne potrzebują wsparcia w formie treningów umiejętności społecznych? czy jest zapotrzebowanie w gminie na osoby z kursem baristy? czy mieszkańcy danej gminy potrzebują mieszkań czynszowych?}. Warto zaznaczyć, że potrzeby te z jednej strony mogą być określane przez ekspertów np. na podstawie danych zastanych (np. braki pracowników z określonymi kwalifikacjami na lokalnym rynku pracy5} oraz przez przyszłych beneficjentów działań (np. braki w spotecznej infrastrukturze lokalnej utrudniającej integrację społeczną). ```
30
Skuteczność
ocena, w jakim stopniu są realizowane cele projektu i czy to, co osiągnięto, jest zgodne z zamierzeniami (np. ile osób uczestniczących w projekcie zwiększyło swoje umiejętności społeczne, zawodowe pozwalające im na znalezienie pracy?)
31
Efektywność (wydajność)
określenie poziomu „ekonomiczności" podejmowanych dziatań, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów; np. porównanie kosztów poniesionych na osobę uczestniczącą w projekcie i osobę nie uczestniczącą w projekcie w określonym czasie np. dwóch lat (wartość udzielonego wsparcia, tj. zasiłki, koszty szkoleń) lub porównanie dwóch alternatyw rozwiązania tego samego problemu (np. opłacenia w ramach zasiłków celowych kosztów wynajmu mieszkań dla rodzin, którym gmina Jest zobowiązana zapewnić schronienie i wybudowanie i utrzymanie mieszkań socjalnych). Obok kosztów rozwiązania danego problemu należy brać również pod uwagę tzw. „koszty zaniechania".
32
Planowanie ewaluacji
Planowanie ewaluacji polega na podjęciu decyzji co do: .celu, .zakresu, .metod, .kosztów, .harmonogramu .sposobu wykorzystania wyników ewaluacji.