Lei de Goodhart: quando perseguir uma métrica distorce o resultado

A lei de Goodhart descreve um problema de usar medidas como alvo: ao organizar o trabalho para melhorar um indicador, podemos enfraquecer sua relação com o resultado que queremos. O número avança enquanto uma parte importante do objetivo fica sem atendimento.

Considere uma equipe fictícia de produto avaliada pela quantidade de funcionalidades entregues. A intenção é melhorar o software para os clientes. Como cada funcionalidade conta uma unidade, pequenas alterações fáceis de anunciar podem disputar espaço com uma correção trabalhosa que facilitaria o uso do produto.

A contagem pode estar correta. O problema aparece se entregar mais unidades passar a valer como evidência suficiente de que os clientes estão conseguindo trabalhar melhor.

O que o indicador realmente mede?

Comece pelo objetivo. A empresa do exemplo quer que seus clientes consigam concluir uma tarefa recorrente com menos dificuldade. Entregar funcionalidades é uma atividade que pode contribuir para isso. Será preciso verificar quais mudanças ajudam, quem consegue usá-las e o que elas exigem da operação.

Uma contagem também depende de uma regra. Uma melhoria dividida em três lançamentos passa a valer três unidades? Corrigir uma falha conta? Remover uma função confusa conta? Se essas escolhas forem deixadas implícitas, duas equipes podem registrar quantidades diferentes para um esforço semelhante.

Definir melhor a unidade melhora a comparação, mas não resolve toda a distância entre atividade e resultado. Ainda é possível entregar algo bem definido que poucos clientes precisem usar.

Como a meta pode mudar o trabalho

Suponha que a liderança acompanhe a contagem nas reuniões e use o total para avaliar a equipe. Quem escolhe o que desenvolver passa a ter uma razão adicional para preferir itens que aumentem esse número antes da próxima avaliação.

Isso pode acontecer sem falsificação ou intenção de prejudicar os clientes. Uma correção difícil de medir perde prioridade para algo que permite demonstrar progresso. A relação entre incentivos e trabalho ajuda a examinar por que essa escolha faz sentido para quem responde pela meta.

Também pode haver manipulação deliberada, como reclassificar tarefas para inflar a contagem. Essa hipótese exige evidência própria. Antes de atribuir intenção, confira como o indicador é calculado e quais decisões ele está orientando.

Quadro preenchido para investigar a meta

As relações no quadro são hipóteses do caso fictício. Para investigar uma meta real, escolha uma delas e procure registros do trabalho. O roteiro de investigação pode guardar uma mudança de prioridade, sua justificativa e o resultado observado.

Nem toda piora vem da pressão pela meta

Se a contagem sobe e o uso das funções cai, há mais de uma explicação. Os lançamentos podem ter atendido a um grupo menor de clientes. A comunicação pode não ter alcançado quem usaria a mudança. A forma de registrar uso também pode ter mudado.

Para examinar o efeito da meta, procure como as decisões foram tomadas. Uma correção foi adiada porque não contaria na avaliação? A equipe mudou o tamanho dos itens após a cobrança pelo total? Há entregas relevantes que o indicador deixou de reconhecer?

Compare períodos e tipos de trabalho semelhantes, preservando as diferenças que ainda existem. Encontrar uma mudança depois da adoção da meta orienta a investigação, mas não demonstra, por si só, que a meta causou o resultado.

Na pesquisa Categorizing Variants of Goodhart's Law, David Manheim e Scott Garrabrant distinguem falhas ligadas a ruído, uso fora das condições conhecidas, intervenções causais e respostas de outros agentes. Essa classificação mostra por que melhorar uma medida pode falhar por mecanismos diferentes. O estudo aprofunda o conceito; não é a formulação original da lei.

No nosso exemplo, os registros de priorização são necessários para saber como a cobrança afetou o trabalho. A classificação conceitual não substitui essa observação.

Como revisar os indicadores de desempenho

A equipe pode continuar contando entregas para acompanhar seu fluxo, enquanto passa a avaliar também a tarefa que pretendia melhorar. Um acompanhamento delimitado observaria se os clientes definidos para aquela mudança conseguem concluir a tarefa e quais dificuldades restam.

Escolha as observações adicionais pela pergunta que respondem. Dados de uso ajudam a saber se uma função foi acessada; podem não mostrar se ela resolveu a necessidade. Conversar com quem usa permite investigar dificuldades, mas também depende de quais pessoas foram ouvidas e do que conseguem relatar.

Evite apenas trocar o alvo. Se a avaliação passar a cobrar exclusivamente acessos, a equipe poderá ser incentivada a criar motivos para abrir a função com mais frequência, mesmo que o cliente preferisse terminar seu trabalho mais depressa. Revise o comportamento que cada nova medida torna vantajoso.

Medir mais também custa. Instrumentação exige manutenção, entrevistas tomam tempo e revisões podem atrasar uma decisão. Para o teste, a equipe poderia acompanhar uma tarefa importante, delimitar um grupo de usuários e combinar uma data para discutir os resultados. O conjunto precisa caber na operação.

Antes de ampliar a mudança, verifique se ela melhorou o resultado pretendido e se deslocou o esforço para outro lugar. O artigo sobre gargalos no processo ajuda a seguir o caminho da entrega. Uma redução na quantidade lançada pode ser aceitável se resolver uma dificuldade importante; a justificativa deve mostrar essa relação e permitir que ela seja revista.