Základní pojmy
Evaluace se stává v sociální práci stále používanějším pojmem, který zasluhuje bližší vysvětlení. Obecně lze evaluaci vnímat jako sledování a hodnocení procesů poskytování služeb a vyhodnocení efektů (výstupů, výsledků a dopadů). Evaluace je jednou z klíčových fází procesu řízení všech činností, od každodenní práce až po vyhodnocování dopadů a změn v dlouhodobém horizontu. Při pohledu na manažerský cyklus – viz např. PDCA (Kreitner, 2008) se evaluace nachází za fázemi plánování a realizace. Na (průběžné i souhrnné) výsledky evaluace navazuje fáze opatření, ve které se buď fixují žádoucí efekty, nebo se upravují podmínky pro rozvoj kvality. Robustně prováděná evaluace probíhá paralelně na více úrovních – na úrovni práce s klientem, na úrovni řízení služby nebo organizace, na úrovni dopadů a změn v lokalitě nebo komunitě. S ohledem na úrovně evaluace se poté přizpůsobují používané nástroje. Pro hodnocení je nezbytné stanovit také kritéria a ukazatele kvality praxe a žádoucích výsledků nejen v sociální práci. Přesvědčivé a realisticky nastavené ukazatele předkládají souhrnný pohled na kvalitu služby, její výsledky a celkovou efektivitu. Úrovně evaluace, její nástroje a ukazatele (kritéria) společně tvoří základ tzv. evaluačního designu.
Evaluace a evaluační design
V obecné teorii evaluace, především v anglické literatuře, se setkáváme s dvěma pojmy – „evaluation“ a „assessment“. Zatímco v českém prostředí se s relativně nadužívaným pojmem evaluace setkáváme jak ve smyslu průběžného hodnocení sloužícího ke zpětné vazbě a průběžným úpravám procesu (právě anglický ekvivalent assessment), tak ve smyslu závěrečného sumativního vyhodnocení předem definovaných výsledkových kritérií (anglické evaluation). Vedle toho pojem evaluation se zaměřuje spíše na hodnocení celkové kvality a naplnění cílů a kritérií (Milner, Myers, O´Byrne, 2020). V našem prostředí je tomuto pojetí blíž spíše pojem audit, který má ale na rozdíl od evaluace ještě výrokovou část – poukazuje na porušení nebo splnění a je podkladem pro případné sankce nebo nápravná opatření (Hendl, 2017).
Evaluace, jak bylo uvedeno, je kontrolní fází v řízení kvality a kromě citovaného modelu PDCA (zkratka anglických slov Plan, Do, Check, Act neboli Plánuj, Konej/Proveď, Kontroluj, Jednej) ji můžeme vidět i u jiných procesních modelů. Vhodným procesním modelem je CAF (Common Assessment Framework), jenž se sice užívá ve veřejné správě, ale s drobnými úpravami je vhodně využitelný i pro řízení v sociální práci. Model CAF zařazuje evaluaci do výsledkové části řízení. Hodnocení výsledků měří jak na úrovni klientů/zákazníků, tak na úrovni pracovníků, a dokonce na úrovni společnosti. Pro měření pak využívá kritérií, tzv. KPI (Key Performance Indicators) – ukazatelů pro měření výkonnosti a výsledků (Baláš, Cvejnová a kol., 2014).
V sociální práci, zejména v praxi sociálních služeb, se nejčastěji setkáváme s procesním modelem postaveným podle standardů kvality sociálních služeb. Samotný soubor standardů (Příloha č. 4 vyhlášky č. 505/2006 Sb., kterou se provádějí některá ustanovení zákona o sociálních službách) je vlastně procesním modelem a jejich kritéria jsou pouze vodítka k důkazům jeho naplňování. Podobným modelem jsou např. standardy pro sociálně-právní ochranu dětí definované v Přílohách č. 1–3 vyhlášky č. 473/2012 Sb., o provedení některých ustanovení zákona o sociálně-právní ochraně dětí.
Oba soubory standardů jsou si v zásadě velmi podobné. Jejich problematikou se z procesního hlediska zabývá např. Vojtíšek (2016). Dalšími normami, které nastavují systém kvality, mohou být normy ISO (International Organization for Standardization), které jsou však zaměřené spíše na standardizaci v managementu, technických oborech a správě organizace a neumí plně vystihnout podstatu poskytování služeb využívajících sociální práci. Českým příkladem jsou ČSN (České státní normy), se kterými se setkáváme spíš v provozně technických oblastech (např. stravování, hygiena).
V obecném přehledu evaluace nesmíme zapomínat na výklad efektů, které evaluace přináší. Jsou to výstupy, výsledky a dopady a velmi výstižně se jim věnuje např. Remr (Hendl, Remr, 2017). Výstupy jako dobře měřitelné, ale nepříliš vypovídající ukazatele, můžeme v sociální práci poměrně snadno vyčíslit. Výstupy mohou být nejrůznější ukazatele počtu intervencí, počtu hodin strávených s klientem, počtu skupinových setkání a podobně. Výstupové ukazatele však zcela přesně nedokážou popsat výsledek nebo žádoucí změnu, ke které sociální práce přispívá. Taková změna se může ukázat až na úrovni výsledků. Pro ty je však už obtížnější stanovit jasnější kritéria. Nejčastěji se používají různé škály kompetencí klienta, popis změn v životě, dosažení cílů a podobně. Ještě se jim budeme dále v textu věnovat. Dopady sociální práce pro společnost jsou snad nejhůře měřitelným efektem, protože jsou dlouhodobější a nelze stanovit jasnou příčinnou souvislost mezi intervenci sociální práce a kýženými změnami v komunitě nebo společnosti. Vzhledem k tomu, že se sociální práce neděje v laboratorních podmínkách, prokazuje se obtížněji kauzalita, což je zásadní paradigma při vyhodnocování efektů obecně. Můžeme pouze kvalifikovaně interpretovat některé korelace. Barr např. uvedl, že na rozdíl od výdajů na dávky jsou výdaje na služby (rozuměj sociální práci – pozn. autora) mnohem obtížněji vyhodnotitelné. Navrhuje, aby se zaměření evaluace v sociálních službách zaměřilo namísto striktní monetizace spíše na dodržování postupů, zásad a legálních nároků klientů systému (Barr, 1993: 318). Cheetman a kol. zase popisují evaluaci orientovanou na klienta a na službu. Nezapomínají přitom ani na otázku ekonomické efektivity, která je však při výkonu sociální práce při nejmenším diskutabilní (Cheetman, Fuler a kol., 2000).
Vysoce relevantní je i otázka pojetí evaluace, ve výrobní sféře a v komerční oblasti, kde jsou zcela patrné a hmatatelné výsledky, je vhodná strategie sumativní – tedy tvrdě definovaná výsledková kritéria, která posuzují efektivitu v jejích variantách (kvalita, výnos, spokojenost). V sociální práci se musíme orientovat i na sledování správnosti postupů a procesů – tedy na zvolení vhodných cílů s ohledem na pracovní hypotézu / sociální diagnózu, zvolení vhodných metod práce s ohledem na cíle, zvolení vhodných ukazatelů výsledků vzhledem ke zvoleným metodám práce. Zaměření evaluace i na správnost postupů, tzv. „process tracing“ (Schulte-Meklenbeck a kol. 2011), lze v sociální práci vřele doporučit.
Kvalitní vyhodnocení výsledků a dopadů sociální práce a jejich prezentace přináší klíčové argumenty pro rozvoj služby na lokální, regionální i celostátní úrovni. Pro sociální práci jsou výsledky evaluace klíčové i s ohledem na její ne příliš ideální společenskou prestiž (Vojtíšek, 2017).
Evaluace v praxi
Pro praktickou aplikaci evaluace v sociální práci se musí sestavit evaluační design, a to zpravidla na třech úrovních:
- Úroveň klienta: zde vyhodnocujeme, jaké efekty nastávají v případu klienta nebo jeho bezprostředním okolí; posuzujeme, zda se nám podařilo naplnit klientovu zakázku a cíle, na kterých jsme s ním pracovali.
- Úroveň služby/úroveň organizace: sledujeme, zda v souhrnném pohledu má služba potřebné dovednosti a výsledky, které deklaruje ve svém poslání a cílech.
- Úroveň společnosti: posuzujeme, jak výsledky služby a výsledky na úrovni klientů přispívají k potřebným změnám v daném místě nebo regionu.
Při praktické aplikaci evaluačních postupů může posloužit následující přehled.
Evaluace na úrovni klienta – krátkodobé výsledky
Jsou měřeny obvykle porovnáváním za pomoci více zdrojů informací a dat: odborné vyhodnocení sociálním pracovníkem nebo multidisciplinárním týmem, klientem samotným nebo i třetí osobou (opatrovník, zákonný zástupce, blízká osoba klienta apod.).
- Posun v kompetencích, dovednostech, situaci, sebepéči apod.
Nástroje měření: škály pokroku, Outcomes star [1] a její mutace nebo GAF. [2] - Naplnění cílů spolupráce.
Nástroje měření: vyhodnocení individuálního plánu, vyhodnocení zakázky a zhodnocení nepříznivé sociální situace dle vnitřních předpisů služby nebo podle zákonných ukazatelů (např. ohrožené dítě). - Subjektivní hodnocení klienta, který může posuzovat svou situaci a vliv služby na její zlepšení.
Nástroje měření: dotazníky spokojenosti, hloubkové rozhovory, škály na bázi SRS [3] nebo zmíněné GAF.
Evaluace na úrovni klienta – dlouhodobé výsledky a dopady
- Pozitivní změna v životě klienta.
Nástroje měření: katamnestické dotazníky a rozhovory [4].
Evaluace na úrovni služby
Je vykonávána prostřednictvím externí inspekce, kontrol a auditů, dále pravidelnými interními audity a kontrolami:
- Naplňování strategického rámce – poslání, hodnot, zásad, cílů, cílové skupiny.
Nástroje měření: kvantifikace případů – poměr úspěšných případů, poměr odmítnutých zájemců z důvodu nevyhovující objednávky. - Kvalita řízení procesů.
Nástroje měření: včasnost a řádnost vedení dokumentace, řádný popis procesů, interní řídicí dokumentace, pozorování a rozhovory s pracovníky a klienty. - Kvalita a odbornost poskytování služby.
Nástroje: vyhodnocení případové supervize, vyhodnocení stížností a připomínek, kontrola dokumentace klientů, kontrola souladu metod práce vzhledem k cílům spolupráce s klientem. - Ekonomická efektivita.
Nástroje měření: rozpočet, účetní evidence, nákladovost přepočtená na relevantní jednotku (lůžko, hodina, den, klient), obsazenost nebo vytížení kapacity služby. - Personální efektivita.
Nástroje měření: personalistické ukazatele, jako jsou odbornost a prohlubování kvalifikace pracovníků, míra fluktuace, nemocnost, průměrná mzda podle pozic, vytížení úvazků odborných pracovníků, poměr přímé a nepřímé práce apod.
Evaluace na úrovni společnosti – dopady na společnost
- Pozitivní změny v místě: snížení míry sociálně patologických jevů, dostatek potřebných kapacit pobytové péče apod.
Nástroje měření: statisticky významné trendy, výzkumy veřejného mínění, demografické ukazatele, mapy sociálního vyloučení apod. - Nákladovost a návratnost investic.
Nástroje měření: QALY [5] , SROI [6] , analýza nákladů a výnosů (CBA – Cost Benefit Analysis).
Výsledky evaluace
Důležitou součástí procesu řízení kvality je práce s výsledky procesu evaluace. S výsledky lze pracovat několika způsoby. Za prvé je nutné je interpretovat a dále využít pro prosazení potřebných opatření – např. udržení nebo změny financování, udržení nebo změny procesů a postupů, udržení nebo změnu metod práce nebo dokonce cílů služby. Za druhé je možné srovnatelné služby mezi sebou porovnávat, ať už pomocí benchmarkingu, průměru, naplňování optima či pomocí minimálních standardů nebo norem. Za třetí jsou výsledky evaluace potřebné pro rozhodování o podpoře služby objednateli (veřejnou správou), zakoupení služby klienty, nebo podpoře dárci.
Přes výše uvedené možnosti práce s výsledky je třeba apelovat na individualizaci evaluační strategie pro konkrétní služby. Evaluační praxe musí brát ohledy na místní podmínky poskytovaných služeb, na charakter služby, její personální obsazení, specifické poslání a způsoby práce. Systém evaluace v organizaci a ve službě je vždy vhodnou kombinací evaluačních kritérií s ohledem na cíle a poslání služby. Univerzální evaluační design neexistuje, stejně jako neexistuje univerzální evaluační kritérium, které by umožnilo jednoduché okleštění sociální práce na odosobněné servisní poskytování úkonů bez ohledu na individuální podstatu člověka, jeho situaci a společnost jako živý organismus.
Závěr
Vyspělé sociální státy si uvědomují význam sociální práce a uvědomují si důležitost investic do podpory ohrožených skupin. Existuje jakási „presumpce významu“ sociální práce a dalších pomáhajících profesí pro společnost. Tato se však musela dlouhá léta budovat, aby si našla své místo i v právních předpisech. I v ČR se pomalu ukazuje, že sociální práce má viditelné výsledky, je však stále těžké je obhájit. To je výzva pro současnou i nastupující generaci sociálních pracovníků.
Petr Vojtíšek,
odborný asistent Katedry sociální práce FF UK, lektor a konzultant v oblasti řízení a vedení sociálních institucí a projektů
Článek byl vydán v rámci projektu Ministerstva práce a sociálních věcí – „Systémová podpora profesionálního výkonu sociální práce II“, reg. č. CZ.03.2.63/0.0/0.0/15_017/0003751, financovaného z prostředků Evropského sociálního fondu prostřednictvím Operačního programu Zaměstnanost a státního rozpočtu České republiky.
Použitá literatura a zdroje
BALÁŠ, L., CVEJNOVÁ, Š., KAJML, P., MRAVCOVÁ, J., ORÁLKOVÁ, A. 2014. Aplikační příručka Společného hodnoticího rámce (model CAF – verze 2013). Praha: Národní informační středisko podpory kvality (NIS-PK). ISBN 978-80-02-02511-5
BARR, N. 1993. The Economics the Welfare State. London: Weidenfeldt and Nicolson.
HENDL, J. REMR, J. 2017. Metody výzkumu a evaluace. Praha: Portál.
CHEETMAN, J.; FULLER, R.; McIVOR,G.; PETCH, A. 2000. Evaluating Social Work Effectivness. Buckingham: Open University Press.
KREITNER, R. 2008. The Principles of Management, 11th Edition. Boston: Cengage Learning.
MILNER, J., MYERS, S. O´BYRNE, P. 2020. Assessment in Social Work. 5th Ed. Macmillan Education Limited. Red Globe Press. ISBN 978-1352009415
SCHULTE-MECKLENBECK,, M.; KÜHBERGER, A.; RAYNARD, R., eds. 2011. A Handbook of Process Tracing Methods for Decision Research: A Critical Review and User’s Guide. New York: Taylor & Francis
STAKE, R. E. 2004. Standard-Based and Responsive Evaluation. London: SAGE Publications.
VOJTÍŠEK, P. 2016. Sociální pracovník při metodickém vedení individuálního plánování. In Sociální služby 11/2016. Tábor: APSS ČR. ISSN 1803-7348
VOJTÍŠEK, P. 2017. Plánování a evaluace lokální veřejné politiky v sociálních službách v ČR. In ŠÁMALOVÁ, K, TOMEŠ, I. a kol. Řízení sociálních procesů v České republice. Praha: Univerzita Karlova, Nakladatelství Karolinum.
[1] Outcomes star viz: https://www.outcomesstar.org.uk/about-the-star/what-is-the-outcomes-star/how-the-outcomes-star-works/
[2] Global Assessment of Functioning Scale se používá především v oblasti péče o duševní zdraví a posuzuje na procentní škále míru naplňování funkcí v oblasti psychické, pracovní i sociální a její mutace lze použít i v sociální práci.
[3] Session Rating Scale – škála hodnotící 4 dimenze spokojenosti klienta – dosažení cíle, použité metody, přístup pracovníka, celkovou spokojenost
[4] Katamnestické techniky se uplatňují po delším uplynulém období od konce intervence (po letech) a hodnotí udržitelnost pozitivní změny
[5] Quality-aged Life-year, ukazatel, který posuzuje efektivitu vynaložených výdajů na udržení dobré úrovně zdraví. Používá se především ve zdravotnictví.
[6] Social Return on Investments, ukazatel efektivity investice do získávání sociálních dopadů. V podstatě jde o porovnávání vhodnosti investic do soci
