Goodhartův zákon

Britský ekonom, doktor Charles Goodhart; zdroj: Wikimedia Commons

Goodhartův zákon je obecný princip popisující problém, který vzniká tehdy, když se určitý měřitelný ukazatel začne používat jako cíl nebo jako hlavní prostředek hodnocení. Nejčastěji bývá shrnován větou:

„Když se měřítko stane cílem, přestává být dobrým měřítkem.“

Zákon upozorňuje na rozdíl mezi skutečným cílem a jeho měřitelným zástupným ukazatelem (proxy). Měřítko může být zpočátku s cílem velmi dobře spojeno. Jakmile jsou však na jeho hodnotu navázány odměny, tresty, financování, kariérní postup nebo jiné pobídky, lidé začnou přizpůsobovat své jednání samotnému ukazateli. Ten pak může stále vypadat lépe, aniž by se stejným způsobem zlepšovala věc, kterou měl původně měřit.

Goodhartův zákon proto není argumentem proti měření jako takovému. Upozorňuje spíše na nebezpečí záměny mapy za území: číslo, skóre nebo statistika jsou pouze zjednodušeným popisem určité části reality, nikoli realitou samotnou.

Jednoduchým příkladem může být zákaznická podpora. Pokud počet rychle uzavřených požadavků dobře koreluje s výkonností pracovníků, může být užitečným ukazatelem. Jestliže však vedení stanoví počet uzavřených požadavků jako hlavní cíl, vzniká motivace požadavky uzavírat co nejrychleji — třeba i bez jejich skutečného vyřešení. Měřený výkon roste, zatímco skutečný výkon růst nemusí.

Původ a formulace

Princip je pojmenován po britském ekonomovi Charlesi A. E. Goodhartovi, který jej formuloval roku 1975 při rozboru britské měnové politiky v práci Problems of Monetary Management: The U.K. Experience.

Goodhartova původní formulace byla užší než dnes běžně používaná verze a týkala se především hospodářské politiky:

„Každá pozorovaná statistická pravidelnost bude mít tendenci zaniknout, jakmile je vystavena tlaku za účelem řízení.“

Goodhart reagoval na snahu měnových autorit řídit ekonomiku prostřednictvím vztahů mezi statisticky sledovanými veličinami. Pokud však vláda nebo centrální banka začne určitou veličinu cíleně ovlivňovat právě proto, že historicky dobře předpovídala jiný jev, mohou ekonomičtí aktéři změnit své chování a původní statistický vztah se může oslabit nebo zcela rozpadnout.

Dnes známější obecnou formulaci — „When a measure becomes a target, it ceases to be a good measure“ — použila antropoložka Marilyn Strathern v roce 1997 při kritice systémů hodnocení britských univerzit. Tím se původně ekonomická myšlenka rozšířila na podstatně širší problém měření výkonu, řízení organizací, školství, veřejné správy a dalších systémů.

Goodhartův zákon se dnes používá i mimo ekonomii. Moderní rozbory jej chápou obecně jako problém optimalizace zástupného ukazatele: ukazatel může být užitečný, dokud podle něj systém pouze pozorujeme, ale intenzivní snaha maximalizovat právě tento ukazatel může postupně zničit jeho vztah ke skutečnému cíli.

Jak Goodhartův zákon funguje

Mechanismus lze zjednodušeně popsat jako následující řetězec:

skutečný cíl → zvolení měřítka → navázání pobídky → optimalizace měřítka → oslabení vztahu mezi měřítkem a cílem

Skutečný cíl

Organizace nebo jednotlivec chce dosáhnout něčeho, co je obtížné přímo změřit — například kvalitního vzdělávání, bezpečnosti, dobré vědecké práce nebo spokojenosti zákazníků.

Zástupné měřítko

Proto je zvolena veličina, kterou lze snadno sledovat a která se skutečným cílem za běžných okolností souvisí. Může jít například o výsledky testů, počet vyřešených případů, počet publikací nebo počet uzavřených požadavků.

Pobídka

Podle hodnoty ukazatele se začne rozhodovat o odměnách, trestech, financování, hodnocení nebo kariérním postupu. Z pouhého měření se tím stává cíl.

Optimalizace

Lidé přirozeně přizpůsobují své jednání systému pobídek. Začnou tedy hledat způsoby, jak zvýšit hodnotu sledovaného ukazatele. Nemusí přitom podvádět ani jednat ve zlém úmyslu; často pouze racionálně reagují na pravidla systému.

Rozpad vztahu

Část způsobů, kterými lze ukazatel zlepšit, nezlepšuje skutečný cíl. Čím silnější je tlak na maximalizaci ukazatele, tím větší význam mohou tyto způsoby získávat. Hodnota metriky proto stále roste, ale její schopnost vypovídat o skutečném cíli klesá.

Důležitou vlastností Goodhartova zákona je právě to, že nevyžaduje podvod ani zlý úmysl. Problém může vzniknout i v systému složeném z lidí, kteří pouze reagují na nastavené podmínky. Špatně zvolená pobídka může učinit z chování, které je z pohledu jednotlivce rozumné, chování nežádoucí z pohledu celého systému.

To je zvlášť významné v rozsáhlých organizacích a při centrálním plánování, kde rozhodující osoba nemůže přímo pozorovat všechny relevantní okolnosti a musí se ve větší míře spoléhat na souhrnné statistiky, normy, kvóty a jiné zástupné ukazatele. Goodhartův zákon pak připomíná, že měřitelnost určitého jevu není totéž jako jeho význam.

Příklady

Goodhartův zákon se může projevit téměř všude, kde je složitý cíl nahrazen jednodušším měřitelným ukazatelem. Nejde přitom pouze o státní správu nebo ekonomii; podobné mechanismy lze pozorovat ve firmách, vědě, zdravotnictví, školství i při hodnocení jednotlivců.

Oblast	Skutečný cíl	Zástupné měřítko	Možný Goodhartův efekt
Policie	Bezpečnost a řešení kriminality	Počet zjištěných přestupků, uložených sankcí nebo vykázaných úkonů	Pozornost se může přesouvat k činnostem, které se snadno vykazují, místo k činnostem s největším přínosem. Český příklad tohoto mechanismu popisuje článek Čárkový systém.
Školství	Znalosti, schopnosti a rozvoj žáků	Výsledky standardizovaných testů	Výuka se může zaměřit především na úspěch v testu, i když tím trpí obtížněji měřitelné části vzdělání.
Zdravotnictví	Kvalitní a včasná péče	Čekací doba nebo splnění stanovených výkonových limitů	Zdroje a chování mohou být optimalizovány vůči sledované hranici namísto celkového zdravotního výsledku pacienta.
Firma	Kvalitní zákaznická podpora	Počet uzavřených požadavků	Pracovníci mohou požadavky rychle uzavírat, aniž by byly skutečně vyřešeny.
Věda	Kvalitní a přínosný výzkum	Počet publikací, citací nebo citační index	Výzkumníci získávají motivaci maximalizovat publikační metriky, například větším množstvím menších publikací nebo autocitacemi.
Internetové platformy	Obsah, který uživatelé považují za hodnotný	Kliknutí, zhlédnutí nebo čas strávený na stránce	Tvůrci a algoritmy mohou maximalizovat pozornost uživatele, přestože samotná pozornost nemusí odpovídat kvalitě obsahu.

Podobnou myšlenku formuloval nezávisle na Goodhartovi psycholog a sociální vědec Donald T. Campbell. Podle tzv. Campbellova zákona roste s významem kvantitativního ukazatele používaného pro rozhodování také tlak na jeho zkreslování a současně riziko, že začne deformovat proces, který měl pouze sledovat.

Goodhartův efekt tedy nemusí znamenat, že se měřený ukazatel stane zcela bezcenným. Často spíše dochází k tomu, že jeho vypovídací hodnota postupně klesá právě v důsledku toho, jak velkou důležitost mu systém přikládá.

Efekt kobry

Kobra indická, v lidové řeči brejlovec; zdroj: Wikimedia Commons

Jedním z klasických příkladů, který ilustruje extrémní důsledky Goodhartova zákona, je tzv. Efekt kobry. Jedná se o anekdotický incident z koloniálních dob Britského impéria. Britskou Indii trápilo obrovské množství nebezpečných brejlovců (kobra indická) a koloniální administrativa tedy nabídla peněžní odměnu za každou mrtvou kobru, kterou indičtí občané předloží úřadům. Zpočátku byla strategie úspěšná a počet smrtících plazů skutečně poklesl. Později však vyšlo najevo, že podnikaví občané začínají kobry záměrně chovat a rozmnožovat, aby pak mohli inkasovat odměnu za jejich zabití. Jakmile tato situace vyšla najevo, vláda celý projekt zastavila a chovatelé kober vypustili jedovaté plazy do volné přírody. Populace divokých brejlovců tak byla ještě vyšší než před zásahem britské vlády a zdánlivě účinné řešení tak nakonec celý problém ještě zhoršilo.

Goodhartův zákon a stát

Goodhartův zákon není specifickým zákonem fungování státu. Stejný problém může vzniknout v soukromé firmě, neziskové organizaci, škole i mezi jednotlivci. Zvláštní význam však získává ve velkých hierarchických systémech, kde rozhodující centrum nemůže přímo sledovat všechny činnosti a výsledky nižších úrovní a musí je proto převádět na souhrnné ukazatele.

Ve veřejné správě mohou být takovými ukazateli například počet provedených kontrol, délka čekací doby, počet vyřízených žádostí, výsledky školních testů, procento objasněných trestných činů nebo čerpání přiděleného rozpočtu. Jakmile jsou podle těchto hodnot rozdělovány prostředky, hodnoceni zaměstnanci nebo posuzována úspěšnost celé instituce, přestávají být pouze informačními ukazateli a stávají se součástí systému pobídek.

Dobře zdokumentovaným příkladem je systém výkonových cílů v anglickém National Health Service (NHS). Výzkumy Gwyn Bevana a Christophera Hooda ukázaly, že centrálně nastavené cíle mohly současně přinášet zlepšení sledovaných výsledků i vytvářet prostor pro různé formy gamingu — tedy přizpůsobování činnosti a vykazování způsobem, který zlepšuje hodnocené číslo, aniž by nutně stejně zlepšoval skutečný výkon služby.

Tento problém souvisí s centralizací. Čím vzdálenější je rozhodující centrum od konkrétní situace, tím obtížnější je předávat mu veškeré místní, proměnlivé a obtížně formalizovatelné informace. Friedrich August von Hayek tento širší problém popsal ve stati The Use of Knowledge in Society, v níž zdůrazňoval, že znalosti potřebné pro ekonomické rozhodování jsou rozptýleny mezi velké množství lidí a často mají podobu znalosti konkrétního času a místa.

Z libertariánského pohledu lze Goodhartův zákon proto chápat jako jeden z problémů spojených s centrálním plánováním a ekonomickou kalkulací. Centrální autorita potřebuje složitou skutečnost převést na údaje, podle kterých může rozhodovat. Tím však nutně část informace ztrácí a současně vytváří motivaci právě tyto údaje optimalizovat.

To ovšem neznamená, že tržní nebo decentralizované prostředí Goodhartův zákon automaticky odstraňuje. Soukromá firma může vytvořit stejně špatné KPI jako ministerstvo. Libertariánský argument spočívá spíše v tom, že konkurence, možnost odchodu a přímější zpětná vazba od zákazníka mohou poskytovat další informace o tom, zda sledovaná metrika skutečně odpovídá výsledku, který lidé požadují. Pokud podnik maximalizuje své interní ukazatele a přitom zhoršuje službu, zákazníci mohou za určitých podmínek přejít jinam; u monopolního nebo povinného systému může být tento korekční mechanismus slabší či chybět.

Goodhartův zákon se tak může prolínat také s teorií veřejné volby, která odmítá předpoklad, že lidé po vstupu do politiky či veřejné správy přestávají reagovat na vlastní pobídky. Politici, úředníci, policisté, učitelé i manažeři jsou stále jednající lidé a přizpůsobují své chování prostředí, ve kterém se nacházejí.

Souvislost s pobídkami

Goodhartův zákon lze do značné míry chápat jako zákon o zpětné vazbě mezi měřením a jednáním.

Dokud ukazatel pouze pozorujeme, může nám poskytovat užitečnou informaci:

„Lidé, kteří dosahují vysoké hodnoty X, obvykle odvádějí dobrou práci.“

Jakmile však podle X začneme přímo odměňovat, trestat nebo rozhodovat, měníme samotné prostředí:

„Chceš-li získat odměnu, dosáhni vysoké hodnoty X.“

Mezi těmito dvěma výroky je zásadní rozdíl. V prvním případě je X indikátorem. Ve druhém případě je X současně pobídkou.

Ekonomové Bengt Holmström a Paul Milgrom popsali příbuzný problém ve své teorii víceúlohového vztahu mezi zadavatelem a vykonavatelem. Jestliže má člověk plnit několik různých úkolů, ale pouze některé z nich lze snadno měřit a odměňovat, silné pobídky mohou přesunout jeho úsilí právě k měřitelným činnostem na úkor těch ostatních.

Představme si například učitele, jehož práce zahrnuje předávání znalostí, rozvoj kritického myšlení, pomoc slabším žákům, podporu zvědavosti i přípravu na standardizovaný test. Pokud je však jeho profesní úspěch hodnocen téměř výhradně podle výsledků testu, systém mu vysílá velmi silnou informaci o tom, které části práce mají skutečnou institucionální hodnotu.

Obdobně může policista dostávat formální pokyn „zajišťovat bezpečnost“, avšak jeho skutečné hodnocení může být založeno na snadno měřitelném počtu výkonů. Rozpor mezi deklarovaným a fakticky odměňovaným cílem pak může vést právě k jevům popsaným v článku Čárkový systém.

Praktická zkratka Goodhartova zákona: Systém nedostává nutně více toho, co jeho tvůrce chtěl. Dostává více toho, co skutečně odměňuje.

To je důvod, proč ke vzniku Goodhartova efektu není zapotřebí korupce, podvod ani zlý úmysl. Jednotlivec může pouze racionálně reagovat na pravidla, která mu byla nastavena. Problém pak neleží primárně v charakteru jednotlivých lidí, ale v nesouladu mezi skutečným cílem a pobídkou vytvořenou jeho měřitelnou náhražkou.

Právě zde se Goodhartův zákon dotýká teorie veřejné volby, modelů ekonomického jednání i obecnější otázky konstrukce institucí: nestačí se ptát, jaké chování pravidlo požaduje. Je třeba se také ptát, jaké chování se podle tohoto pravidla skutečně vyplatí.

Obrana proti Goodhartovu zákonu

Goodhartův zákon neznamená, že by bylo nejlepší přestat měřit. Metriky mohou poskytovat důležitou zpětnou vazbu, upozorňovat na problémy a umožňovat porovnávání výsledků. Riziko vzniká především tehdy, když se zjednodušený ukazatel začne považovat za úplnou reprezentaci skutečného cíle a současně se na něj navážou silné pobídky.

Úplně odstranit Goodhartův efekt zpravidla nelze, lze však omezovat podmínky, které jej zesilují.

Nezaměňovat měřítko za cíl

Prvním krokem je co nejpřesněji určit, čeho má systém ve skutečnosti dosahovat. Teprve potom má smysl hledat veličiny, které o tomto cíli něco vypovídají.

Je například podstatný rozdíl mezi výroky:

Cílem je zvýšit počet vyřízených požadavků.

a

Cílem je dobře řešit problémy zákazníků; počet vyřízených požadavků je jedním z ukazatelů, který nám může pomoci poznat, zda se nám to daří.

V prvním případě se metrika fakticky stala cílem. Ve druhém zůstává pouze informační pomůckou.

Tento rozdíl může být zvlášť důležitý tam, kde je skutečný cíl obtížně měřitelný. Skutečnost, že lze jednu jeho část snadno převést na číslo, neznamená, že právě tato část je nejdůležitější.

Používat více různých ukazatelů

Jednou z možností je nespoléhat na jedinou metriku. Kombinace více ukazatelů může ztížit situaci, kdy lze velmi dobře optimalizovat jedno číslo na úkor celkového výsledku.

Například zákaznickou podporu lze hodnotit nejen podle rychlosti uzavírání požadavků, ale také podle jejich opětovného otevírání, zpětné vazby zákazníků nebo dlouhodobého počtu opakujících se problémů.

Ani větší množství metrik však problém automaticky neřeší. Pokud se z několika ukazatelů pouze vytvoří nové souhrnné skóre a právě jeho maximalizace se stane cílem, může se Goodhartův problém pouze přesunout o úroveň výše.

Více čísel není totéž co více informací. Důležité je, zda různé ukazatele zachycují různé části skutečného cíle.

Předem hledat způsob, jak metriku „obehrát“

Při návrhu systému lze položit jednoduchou otázku:

„Kdybych chtěl maximalizovat tuto metriku bez skutečného splnění cíle, jak bych to udělal?“

Manheim tento postup označuje jako pre-gaming a přirovnává jej k předběžnému hledání možných způsobů selhání systému.

Pokud má být například policie hodnocena podle počtu odhalených přestupků, lze se předem ptát, zda tím nevznikne motivace soustředit se na snadno zjistitelné a administrativně jednoduché případy. Právě podobným problémům se věnuje Čárkový systém.

Smyslem takového postupu není předpokládat nepoctivost lidí. Naopak vychází z předpokladu, že lidé budou na nastavené pobídky reagovat, a je proto vhodné tuto reakci zahrnout již do návrhu pravidel.

Metriky průběžně kontrolovat

Metrika, která fungovala dobře při svém zavedení, nemusí fungovat stejně dobře později. Lidé se jí přizpůsobují, mění se technologie, prostředí i samotný systém.

Proto je vhodné pravidelně ověřovat:

• zda metrika stále souvisí s původním cílem;
• jaké chování její používání vytváří;
• zda se neobjevily nové způsoby její optimalizace;
• co důležitého metrika vůbec nezachycuje.

Manheim upozorňuje, že právě sledování změn chování může odhalit situaci, kdy původně užitečná metrika začíná systém deformovat.

Oddělovat měření od automatické odměny

Významný rozdíl existuje mezi použitím metriky jako informace a jejím použitím jako přímého mechanismu odměny nebo trestu.

Číslo může například upozornit vedení organizace na neobvyklý výsledek a vyvolat bližší zkoumání. Nemusí však automaticky rozhodovat o odměně zaměstnance.

Manheim navrhuje, že v některých situacích mohou metriky lépe fungovat právě jako diagnostická zpětná vazba než jako přímý systém odměn. Tím se snižuje tlak na jejich maximalizaci a současně zůstává zachována informační hodnota měření.

Zachovat prostor pro úsudek

Některé vlastnosti lze kvantifikovat jen velmi obtížně. Pokus převést veškeré rozhodování na čísla může proto odstranit informace, které mají podobu zkušenosti, místní znalosti nebo odborného úsudku.

Historik Jerry Z. Muller označuje přílišnou víru v nahrazování úsudku standardizovanými ukazateli jako metric fixation – fixaci na metriky. Neodmítá měření samotné, ale upozorňuje na problém, kdy se kvantifikované ukazatele začnou považovat za náhradu zkušenosti a úsudku místo jejich doplnění.

Tato otázka souvisí také s centralizací. Čím více rozhodování probíhá vzdáleně od konkrétní situace, tím větší význam mohou získávat standardizované reporty a ukazatele, protože rozhodující centrum nemůže samo pozorovat místní podmínky. Naopak ponechání určitého prostoru lidem, kteří mají přímou znalost konkrétní situace, může umožnit využít i informace, které se do centrální metriky nevejdou.

To však vytváří jiné problémy — například subjektivitu, rozdílné rozhodování nebo horší porovnatelnost. Obrana proti Goodhartovu zákonu proto není nalezením dokonalé metriky, ale spíše hledáním kompromisu mezi měřením, pobídkami a lidským úsudkem.

Nepřehánět optimalizaci

Čím větší tlak je vyvíjen na dosažení extrémní hodnoty určitého ukazatele, tím větší je riziko, že se systém dostane do podmínek, ve kterých již původní vztah mezi ukazatelem a cílem neplatí. Manheim a Scott Garrabrant tento jev popisují jako jednu z forem Goodhartova efektu: další optimalizace proxy může být nejprve neúčinná a nakonec i škodlivá.

Praktickým důsledkem může být rozdíl mezi:

„Tato hodnota je dostatečně dobrá.“

a

„Tuto hodnotu musíme maximalizovat.“

První přístup ponechává prostor i ostatním vlastnostem systému. Druhý vytváří tlak obětovat je ve prospěch jediného čísla.

Goodhartův zákon není důvodem neměřit. Je důvodem nezapomínat, proč měříme.

Související články

• Čárkový systém – příklad deformace chování prostřednictvím výkonových ukazatelů u policie
• Teorie veřejné volby – zkoumá mimo jiné pobídky politiků, úředníků a dalších aktérů veřejného sektoru
• Centrální plánování – rozhodování založené na informacích shromažďovaných a zpracovávaných centrální autoritou
• Ekonomická kalkulace – problém získávání a používání informací potřebných pro ekonomické rozhodování
• Centralizace – soustřeďování rozhodování a řízení do jednoho centra
• Homo economicus – zjednodušený model člověka reagujícího na pobídky
• Jednání – cílevědomé lidské chování
• Teorie her – studium strategického jednání vzájemně reagujících aktérů
• Morální hazard – změna chování vyvolaná změnou pobídek a rozdělením rizik
• Sociální kredit – příklad systému převádějícího různé vlastnosti a projevy chování na hodnocení či skóre
• Školství – oblast, v níž mohou standardizované výsledky fungovat jako zástupné ukazatele širších vzdělávacích cílů
• Spontánní řád – koordinace vznikající bez jednotného centrálního řízení