Evaluace v praxi sociální práce v ČR očima sociálních pracovníků

Hodnocení výsledků a dopadů je jednou z klíčových fází a zároveň odbornou činností managementu napříč odvětvími. Ani sociální práce není (nebo by neměla být) výjimkou. Právě dobré vyhodnocení výsledků a dopadů sociální práce a jejich prezentace mohou přinést klíčové argumenty pro její profesionalizaci, o které se v posledních letech tolik mluví. Tento článek volně navazuje na článek autora publikovaný v tomto časopise v čísle 6/2017. Onen článek shrnuje pohled sociálních pracovníků na profesi sociální práce a jako jeden z deficitů uvádí právě špatnou prezentaci výsledků sociální práce (Vojtíšek, 2017:152–159). A nejde jen o jeden z deficitů, ale rovnou o deficit zásadní. Nyní se budeme zabývat jednou z částí problému a tím je vyhodnocení výsledků a dopadů. Bez hmatatelných výsledků se složitě obhajuje jakékoliv konání, navíc financované v drtivé většině z veřejných prostředků. S hmatatelností výsledků v sociální práci je to však velmi obtížné. Na druhou stranu lze pomocí komplexní a relevantní evaluace prezentovat výsledky a dopady sociální práce alespoň ve viditelných rysech. I Barr se při své zevrubné ekonomické kvantifikaci sociálního státu dostává i k otázce veřejných služeb (v britském prostředí především veřejného zdravotnictví a školství) a sám uvádí, že na rozdíl od výdajů na dávky jsou výdaje na služby mnohem obtížněji vyhodnotitelné. Naráží přitom na problém kauzality mezi poskytovanou intervencí a výsledkem („uzdravením“) na straně beneficienta pomoci (Barr, 1993:291–293). Dále pak k efektivitě uvádí, že ji namísto měření a striktní monetizace musíme definovat spíše zásadami a standardizovanými legálními nároky (Barr, 1993:318).

Hodnocení a vyhodnocování označujeme souhrnně pojmem evaluace. Té můžeme přičíst i jeden další efekt, a sice zhodnocování – tedy přičítání hodnoty určité činnosti. A sice hodnoty, kterou odhalujeme až evaluací a která nemusela být při plánování zamýšlena.

Evaluace a sociální práce

Evaluace patří ke každodennímu konání a činnostem ve všech oborech lidské činnosti. Je vykonávána bezděčně, intuitivně a slouží jako klíčová součást plánování. Díky manažerským teoriím se evaluace jako pojem začíná systematizovat a dostává sofistikované podoby. Teoretických podkladů k evaluacím je řada a koření z prostředí manažerských teorií. Evaluace je nedělitelnou součástí Demingova cyklu (PDCA), kde spolu s fázemi plánování, realizace a tvorby opatření tvoří základní životní cyklus každého procesu, projektu a každé činnosti (Kreitner, 2008:492).

Evaluaci v sociální práci se uceleně teoreticky věnují Cheetman a kol., kteří rozlišují evaluaci orientovanou na klienta a na službu. Navíc se snaží i formulaci principů v zajištění ekonomické efektivity (Cheetman, Fuler a kol., 2000). Můžeme nalézt i současné autory, kteří se věnují evaluacím v různých odvětvích, které využívají metody sociální práce. Dobrým příkladem je např. de St. Croix, která se systematicky věnuje měření výsledků a dopadů u ohrožené mládeže (de St. Croix, 2017).

Tématu evaluace v sociální práci se v české literatuře okrajově dotýká ve své publikaci k managementu kvality v sociální práci Malík Holasová (2014:106–108). Kromě toho představuje i pár metod vhodných pro řízení evaluace, ale jde spíše o formální kritéria kvality řízení v organizaci než o evaluaci samotné sociální práce (např. modely TQM, ISO).

Pro praktickou přípravu evaluace v oblasti sociální práce nám může dobře posloužit metodika MPSV, která vznikla pro evaluaci projektů zaměřených na sociální začleňování v rámci ESF, OP Zaměstnanost 2014–2020 (MPSV, 2015). Obsahuje popis pojmů i nástrojů pro provádění evaluací, seznamuje např. s teorií změny, evaluačním designem (evaluační maticí) nebo typy evaluačních otázek. Není však zcela návodná, k její aplikaci jsou navíc ještě třeba zkušenosti s evaluací.

Evaluační strategie (nejen) v sociální práci mohou nabývat dvou základních pojetí:

Evaluace podle standardů1, která se zaměřuje na posuzování zjištěných skutečností podle předem definovaných hodnotících kritérií. Nazýváme jí konfirmační evaluací neboli „goal-based evaluation“ (Hendl, Remr, 2017:301), nebo také jako „standard-based evaluation“ (Stake, 2004:54–85). Sama o sobě přináší exaktnější výsledky, které však mohou mít rezervy ve validitě.

  1. Evaluační strategie založená na interpretativním způsobu posuzování zjištěných skutečností. Interpretativních strategií je celá řada a podrobněji je popisuje např. Remr (Hendl, Remr, 2017). Bývá také nazývána jako responzivní evaluace. Její výsledky sice nemusí být tolik měřitelné a plánovatelné, na druhou stranu může lépe reagovat na vývoj situace, která je hodnocena.

Uvedené dělení má blízko i k dělení postavenému na rozdílném zaměření evaluace a aplikace v různých fázích řízení. Rozlišujeme:

  • evaluaci dopadu nebo dopadovou evaluaci (MPSV ČR, 2015; Stake, 2004:37–38)

Dopadová evaluace hodnotí podle evaluačního plánu předem stanovená výkonnostní kritéria, která nazýváme klíčové ukazatele výkonnosti, bývají označována jako KPI (Key Performance Indicators), přitom je musíme definovat skutečně výkonově, nikoliv jako jednoduchou metriku (simple metrics; Savkin, 2017:21), která je srovnatelná např. s daty vykazovanými poskytovateli sociálních služeb do OK systému. KPI musí být měřitelnými kritérii (nejčastěji kvantifikovatelnými) nebo definována výsledným stavem nebo ještě lépe kýženým dopadem. Produktem dopadové evaluace jsou faktické a měřitelné výstupy podložené důkazy.

–  evaluaci procesu nebo procesní evaluaci

Jedná se o pravidelnou kontrolní a korektivní činnost, která vede ke zlepšování procesů v organizaci, jak na úrovni procesů hlavních (samotné poskytování služby), tak i procesů podpůrných (řízení PR, řízení lidských zdrojů) a řídících (strategické řízení, řízení kvality). Procesní evaluace umožňuje identifikovat silná a slabá místa v průběhu poskytování služby klientovi a hned je korigovat ať už změnou jednání např. sociálního pracovníka nebo změnou okolností poskytování (změnou postupu, úpravou pravidel apod.). Za všech okolností je procesní evaluace záměrnou činností a neprovádíme ji mimochodem. Nemůže být nahrazena ani debrífinkem, ani supervizí. I procesní evaluace by měla mít svou evaluační metodiku a harmonogram.

Z pohledu zaměření na výsledek evaluace je možné ještě rozlišovat evaluaci:

  • formativní

Formativní evaluace pomáhá formovat průběh činnosti (v našem případě např. průběh poskytování intervencí), organizační nastavení, vhodnost vybraných činností nebo celých služeb vzhledem k zamýšleným cílům, výběr vhodných cílů vzhledem k zamýšleným změnám, atd. Tedy jde spíše o průběžné vyhodnocování okolností vedoucích k dosahování žádoucího stavu.

  • sumativní

Cílem sumativní evaluace je posouzení efektů, kterých bylo dosaženo. A to především výsledků a dopadů než pouhých výstupů činnosti. Sumativní evaluaci ale nesmíme zaměňovat s auditem, i když v řadě charakteristik je mu podobná. Nemá však kontrolní charakter.

Srozumitelné modely pro využití výše popsaných různých typů evaluací uvádí např. Hendl (Hendl, 2015:295).

Vojtíšek podrobněji popisuje i různé úrovně nebo patra evaluace, konkrétně jde o úroveň klienta (krátkodobé i dlouhodobé výsledky na straně klienta), úroveň organizace (výsledky poskytovatelské organizace či instituce) a úroveň společnosti (společenského nebo komunitního dopadu; Vojtíšek in Šámalová, Tomeš, 2018:34–36). Tyto úrovně jsou použity i při kategorizaci výsledků v následujícím textu.

Pro úplnost je nyní třeba ještě krátce popsat rozdíl mezi jednotlivými efekty nastávajícími činností sociálního pracovníka nebo celých týmů. Evaluační teorie rozlišuje:

  • výstupy – Výstupy jsou většinou „hmatatelná“ a fakticky doložitelná fakta, která jsou bezprostředním plodem vykonávané činnosti. V sociální práci výstupy známe např. ze statistik OK systému MPSV ČR, který sbírá data o počtech klientů, minutách intervencí, počtu skupin, nákladovosti na hodinu práce apod. I přesto, že může jít o užitečná data, nemusí korelovat s (žádoucími) výsledky, které jsou od sociálních pracovníků očekávány.
  • výsledky – Naopak to, co se očekává od sociálních pracovníků, jsou výsledky. Výsledkem je zamýšlená změna, která má díky intervenci/činnosti nastat. Jedná se o změnu na straně klienta, která však bohužel závisí kromě schopností sociálního pracovníka do velké míry i na vůli klienta. A v takovém případě je téměř nemožné evaluovat kauzalitu mezi výsledkem a činností sociálního pracovníka. Přitom otázka měření kauzality u evaluací byla již dříve zkoumána. Remr referuje o tom, že jako metoda měření byla použita metoda experimentu s kontrolní skupinou. Posléze ale byly vyloučeny oblasti, kde takový experiment s kontrolní skupinou a randomizovaným vzorkem není validní. I intervence v praxi sociální práce splňuje tyto znaky (Remr, 2017:288).
  • dopady – Dopady bývají interpretovány buď jako dlouhodobé výsledky na straně klienta nebo změny na straně třetích stran a prostředí. V našem případě změny v životě klienta vzešlé z výsledků práce s ním a dále dopady na straně komunity nebo společnosti, které nastanou díky výsledkům u klientů. Měření dopadů je vlastně ověřováním dosažení definované vize. Dopady a jejich měření by mělo být doménou hlavně zadavatelů, tj. v našem prostředí především představitelů veřejné správy a samospráv.

Při jistém zjednodušení lze provést paralelu, kterou využívají při evaluaci např. procesní modely CAF nebo model excelence EFQM. Vizi odpovídají dopady, které nastávají v dlouhodobém horizontu. Cílům odpovídají výsledky ve střednědobém horizontu a procesům odpovídají výstupy jako okamžitý efekt.

Upřímně je nutné konstatovat, že rozdíl mezi dopady a výsledky v sociální práci je mlhavý, samotní sociální pracovníci – účastníci diskusí – tento rozdíl (oprávněně) zpochybňují, a to především kvůli efektu „mrtvé váhy“2.

Evaluační praxe v sociální práci

Nyní přicházíme k prezentaci interpretovaných výsledků sady 6 skupinových diskusí, které proběhly v roce 2018 a kterých se účastnilo 152 sociálních pracovníků ze 6 krajů ČR. Diskuse byly pořádány Profesní komorou sociálních pracovníků, z. s., ve spolupráci s akademickými pracovišti (VŠ a VOŠ) a veřejnými institucemi (krajské a městské úřady). Nastavení diskusních skupin odpovídalo formě In-group forum (Berg, 2004:201), která umožňuje na rozdíl od klasických focus group (Flick, 2009:31) relativně homogenní složení skupiny respondentů orientovaných stejným tématem. Složení skupin probíhalo víceméně samovýběrem.

Díky sledování a interpretaci výsledků skupinových diskusí máme solidní přehled o evaluační praxi jak v neziskových organizacích, tak v sociální práci ve veřejné správě. Přitom se nejedná pouze o shrnutí výsledků, ale i jejich reflexi autorem.

Zcela jednoznačně se ukázalo, že v měření dopadů a výsledků jsou organizace (ve kterých působí sociální pracovníci) na různé profesionální a systematické úrovni evaluace.

Velká diskuse byla vidět opakovaně ve 4 skupinách v otázce porovnání dobré sociální práce a účinné sociální práce. Část účastníků vnímá dobrou a účinnou sociální práci jako synonymum. Druhá část připouští, že někdy dobře odvedená sociální práce nemusí být účinná a naopak, tedy účinek se někdy dostaví i bez intenzivní sociální práce, může být ovlivněn jinými faktory (prostředí, zásah jiného profesionála atp.). Často také záleží na zadavateli – pokud je jím klient, je větší pravděpodobnost, že dobře provedené metody sociální práce přinesou i očekávaný výsledek (účinek), kterým je odstranění nebo nezhoršování problému nebo dosažení cíle nastaveného při dojednávání zakázky. Účinná sociální práce je podle části účastníků i tam, kde pozitivní zpětná vazba od klienta je v souladu s pozitivní sebereflexí sociálního pracovníka. A dokonce se můžeme setkat i s takovou konfigurací, kdy i přes špatný pocit sociálního pracovníka (tedy přes negativní sebereflexi – např. nepřiměřené emoce při práci s klientem, nenastolení více variant klientovi) má jeho práce s klientem pozitivní účinek na život klienta.

V následující tabulce je přehledné shrnutí nejčastějších způsobů, které pro evaluace používají sociální pracovníci ať už sami nebo v rámci řízení organizace. Pro uvedená kritéria pak mají vlastní – více či méně – sofistikované a někdy spíše intuitivní operační definice. Jak je vidět, řada kritérií je spíše intuitivních, ale zato autentických. Jsou uváděna i kritéria, která jsou velmi subjektivní a mohou nahrávat i chybám v interpretaci.

V diskusi se odrážel velký rozdíl v dosažitelnosti měření a posuzování výsledků a dopadů s ohledem na způsob sociální práce (preventivní vs. terapeutická), jakož i v poskytovatelském subjektu (soc. pracovníci ve veřejné správě vs. pracovníci v soukromém neziskovém sektoru). Proto i v následujících přehledech bude uveden přehled podle oblastí sociální práce. U pracovníků ve veřejné správě navíc není zcela jasné, kdo je klientem a zadavatelem – ohrožená osoba nebo veřejná správa / politik? Pracovníci se tak dostávají do etického dilematu, ve kterém nemají systematickou oporu. A značně to komplikuje i evaluaci. Rozdělení oblastí sociální práce v tabulkách je ovlivněno skladbou sociálních pracovníků – účastníků diskusí.

Tab. 1 Shrnutí nejčastěji používaných způsobů evaluace v sociální práci ve službách sociální péče

Efekt Kritérium efektivity Zdroj sběru dat a měření
Dopady a výsledky na úrovni klienta Výsledky:

  • získaná důvěra klienta
  • zajištěná péče o základní potřeby
  • stabilita zázemí klienta
  • individuální plány
  • rozhovory s klienty a blízkými osobami
  • nástroje měření spokojenosti (škálování)
Dopady:

  • (do)žití v domácím prostředí (u terénních služeb)
  • zachování sebevědomí, práva na rozhodnutí ve svém a o svém životě
Dopady a výsledky na úrovni organizace Výsledky:

  • zajištění služby dle přání klienta
  • nárůst zájemců
  • statistiky (kvantita) – měří skutečně dopady sociální práce? Nebo jen výstupy?
Dopady:

  • naplňování poslání organizace
  • pozitivně motivovaný a nízkofluktuující personál
Dopady a výstupy na úrovni společnosti Výsledky:

  • finanční efektivita
  • ukázka dobré praxe soc. práce
  • finanční porovnání typů služeb – ekonomické studie
  • analýzy a statistiky klientů i čekatelů
  • dostatečná síť služeb v regionu
Dopady:

  • posílení vztahů v komunitě
  • síť služeb s menší finanční náročností pro společnost
  • více informovaná společnost o možnostech sociální práce (služeb)

Zdroj: autor, 2018

 

Tab. 2 Shrnutí nejčastěji používaných způsobů evaluace v sociální práci ve službách sociální prevence

Efekt Kritérium kvality či efektivity Zdroj sběru dat a měření
Dopady a výsledky na úrovni klienta Výsledky:

  • soulad potřeby klienta a poskytované podpory – zakázka
  • motivace nemotivovaného klienta
  • splněný plán klienta
  • zlepšení/nezhoršení situace klienta
  • subjektivní spokojenost klienta se službou, i s kvalitou života
  • intervizní setkání
  • evaluační rozhovor
  • dotazníky
  • katamnestické rozhovory
Dopady:

  • už není klientem služby, služby již nepotřebuje
  • klient se samostatně funguje v běžném prostředí
  • informuje komunitu o možnostech řešení, organizaci atd.
Dopady a výsledky na úrovni organizace Výsledky:

  • naplněný cíl služby (u konkrétního klienta)
  • naplnění veřejného závazku služby
  • sumarizované údaje o činnosti a jejich trend (spíše výkonnost sociálního pracovníka, která nevypovídá o kvalitě jeho práce)
  • supervize
  • intervize
  • dokumentace personální
  • veřejné mínění
  • audity, inspekce, kontroly
Dopady:

  • míra fluktuace sociálních pracovníků
  • prestiž sociálních pracovníků
  • organizace má dostatek klientů, ví se o ní
Dopady a výstupy na úrovni společnosti Výsledky:

  • povědomí veřejnosti o sociální síti v regionu
  • předávání informací správcům sítě (veřejné správě)
  • zapojení organizace do tvorby legislativy
  • míra sociálně patologických jevů – dopady ve veřejných statistikách
  • úbytek společenských problémů (měří politická reprezentace)
  • informace od dalších institucí (nesystematický sběr zpětné vazby)
  •  
Dopady:

  • snížení finanční zátěže (rozpočet ČR)
  • snížení výskytu soc. patologických jevů
  • upravená síť služeb v regionu
  • legislativa realizovaná v praxi
  • dobrá medializace výsledků sociální práce v konkrétních případech

Zdroj: autor, 2018

 

Tab. 3 Shrnut&iacu