As métricas ágeis não são só o que você pensava

É muito comum ouvir por ai que as métricas ágeis estão relacionadas aos trabalhos e as entregas dos times ágeis e squads, onde geralmente é apontado e mostrado exemplos de métricas como Velocity, Story Points e gráficos como Burndown para times que usam o Scrum, e métricas como throughput, lead time de diferentes visões, wip, além de gráficos como Histogramas e CFDs para times que usam Kanban, e quase todos se contentam em resumir isso como métricas ágeis, porém, eu não!!

Eu te afirmo que estas métricas ou gráficos não contemplam todas as métricas ágeis que precisamos identificar e acompanhar em nossos times e empresas, e quando nos concentramos apenas em um conjunto dentre os citados as chances de fracasso e de não entregar valor como muitos gostam de falar é enorme.

É disso que eu quero falar neste artigo, quero te mostrar o que de fato são as métricas ágeis e o que você, seu time e sua organização precisa identificar, acompanhar e medir quando estiver em ambientes ágeis e híbridos, então leia até o final que tem bastante conteúdo interessante para você.

Métricas: Medir é só uma parte do trabalho

Gosto de começar falando que não adianta só medir, medir é só uma parte do trabalho. Então independente da métrica, se você só registra e guarda histórico, mas não faz nada com o que recolhe de dados, e principalmente não sabe se o que você está medindo é bom ou ruim, você está só gerando desperdício para o seu time e empresa.

Pense que os primeiros três passos que você deve realizar são os seguintes: Identificar a métrica, o indicador de resultado e as metas alvo que afetam o seu trabalho, empresa, produto ou cliente, caso você trabalhe hoje só com as métricas fará um controle incompleto e raso.

A métrica é o valor bruto, bem operacional, que fornece dados de como as coisas estão acontecendo, por exemplo, o seu time Scrum entrega 10 histórias por Sprint, ou tem pronto 120 pontos por história ao final de uma Sprint. Outro exemplo, o seu time usa Kanban e tem um Throughput médio de 10 itens de trabalho entregues ao final de 1 semana, e o lead time médio de cada item é de 2 dias. Veja que estes números mostram apenas o que está acontecendo, porém, não dizem se o que está acontecendo é bom ou é ruim, em outras palavras, uma métrica por si só é puramente um dado ou conhecimento bruto que não significa muita coisa sozinho, e automaticamente não promove nenhuma ação de melhoria ou mudança.

Indicadores: O número que tenho é bom ou ruim?

Então precisamos ir para o passo 2 que são os indicadores de performance ou resultado que, quando atrelados as métricas, poderão começar a nos dizer se o que está acontecendo é ruim ou bom. Os indicadores nos ajudam a analisar taticamente o nosso trabalho, time, produto ou empresa, e já não é mais um número ou dado bruto, os indicadores fornecem informações tratadas e analisadas que podem comparar métricas ou interpretar algumas delas de forma a indicar se a performance está boa ou ruim.

Então por exemplo, podemos pegar duas métricas e combiná-las para obter um indicador de performance de um time. Supondo que um indicador interessante seja o de produtividade, a produtividade não pode ser medida apenas com o dado de velocity do time ou throughput, é preciso pegar pelo menos três dados através de suas métricas para termos um indicador de produtividade.

As métricas podem ser quantidade total de itens prontos e entregues ao final da Sprint ou Semana, e deste total, quantos itens são novos e produziram novas features para o produto, e quantos itens são de retrabalho, como esforço gasto na correção de erros. Se imaginarmos uma situação onde 10 itens foram entregues prontos ao final de uma Sprint ou semana, e destes 10 itens 5 foram novos itens e 5 foram retrabalho, este time tem uma produtividade de apenas 50% e com este indicador temos uma informação tratada que pode representar um indicativo de performance alta ou baixa. Poderíamos detalhar mais este ponto, mas por agora vamos definir que até 50% de produtividade é considerado baixo ou ruim, entre 50% e 80% é considerado médio ou bom, e acima de 80% é considerada alta performance ou resultado muito bom.

Um outro exemplo é o ligado a Lead Time, que mostra o tempo que uma atividade ou item de trabalho demora para percorrer uma etapa, ou um conjunto de etapas, de um fluxo de trabalho. Quando um time diz que o Lead Time médio de entrega de um item é de 2 dias, sozinho este número não quer dizer muita coisa, porque de novo é só uma métrica, agora se combinarmos com a criticidade do item ou até mesmo pelo quanto se consome de pessoas ou recursos financeiros neste mesmo tempo esperando por este trabalho ficar pronto, podemos ter um indicador de performance mais interessante. Vamos supor que estamos falando de pagamentos de fornecedor e do Lead Time de 2 dias para a liberação do pagamento depois de aprovado no sistema. Se estiver dentro do prazo de pagamento, os 2 dias podem tranquilamente ser considerados um número bom, porém se o pagamento já está atrasado e o fornecedor não recebeu o seu dinheiro este pode ser um número ruim, e neste exemplo, podemos também combinar com a frequência de pagamentos atrasados e que ainda demoram 2 dias para serem pagos. Se a frequência for alta temos um indicador ainda pior e provavelmente você tem fornecedores insatisfeitos de ter a sua empresa como cliente.

Então um indicador de performance poderá nos ajudar muito na tomada de decisão e na urgência que precisamos atuar em uma determinada situação ou melhoria necessária. Geralmente bons indicadores dizem exatamente o que é bom ou ruim para o time, produto ou empresa, através de faixa de valores, índices, comparativos e frequências esperadas.

Metas: Nosso alvo para atingir ou melhorar

O terceiro passo que você deve dar para não parar só na medição é ter metas definidas, que podem estar atreladas aos indicadores de performance diretamente.

Se temos as métricas que nos fornecem os dados brutos, e temos os indicadores que nos mostram as informações tratadas e indicam se o nosso resultado está ruim ou bom, precisamos também ter o alvo esperado pelo nosso time, produto ou empresa. Pegando o exemplo da produtividade de 50% que já sabemos que é ruim ou baixa, neste caso podemos ter uma meta de produtividade de pelo menos 70% até o final do ano, e com isso definimos um alvo que devemos buscar alcançar realizando melhorias e mudanças para melhorar a nossa performance gradativamente até o prazo esperado.

Muito bacana, não é? Porém, ainda falta coisa. Então não vá embora, que agora vem a parte mais importante deste artigo, onde eu vou explicar o porquê das métricas ágeis que você conhece e usa não são exatamente as que você deveria usar e que talvez você foi enganado este tempo todo a este respeito.

Métricas de performance de time ou de velocidade de entrega

Uma SQUAD correndo loucamente para qualquer lugar …

Bom, agora que você entendeu que não adianta só ter métricas e medi-las isoladamente, e que você precisa ter também indicadores e metas para que possa analisar o que está bom ou ruim, e tomar ações de acordo com estas análises, vem a parte interessante e mais forte deste artigo.

Pode ser que mesmo que você já faça este trabalho combinado de métrica, indicador e meta, você só esteja abraçando um grupo de medição e controle, ou seja, só 50% do trabalho está sendo feito e ainda falta 50%. Porém, não se assuste, eu vou te contar como realmente ter todo este trabalho de medição e controle em ambientes ágeis e híbridos de forma mais abrangente possível.

Ah quando eu falo de medição e controle aqui, é simples. Medição se refere a você medir e acompanhar suas métricas, indicadores e metas, e o controle é o simples fato de você saber quando está ruim ou bom e tomar ação para retomar o controle dos seus números de acordo com o esperado pelo seu time, produto ou organização. Então sem pânico com o termo controle, ok?

Então vamos lá, eu costumo dizer que temos dois grupos de métricas, indicadores e metas para monitorar e controlar, e isso vale tanto para ambientes preditivos quanto para os ambientes ágeis e híbridos. O primeiro grupo é o de performance do time e velocidade de entrega e o segundo grupo é o de resultado de negócio.

Para resumir, tudo que eu falei até agora basicamente está no PRIMEIRO grupo, de performance do time e velocidade de entrega, que está muito ligado ao trabalho realizado, a eficiência de processo e a velocidade do time.

Então quando falamos de Velocity, Story Point, Throughput, Lead Time variados, Wip, limite de WIP e gráficos como Burndown, Burnup, Histogramas, CFD, e outros, estamos falando apenas de como estamos trabalhando e como é a nossa eficiência neste trabalho que realizamos.

Em outras palavras, é só metade do que devíamos monitorar e controlar de métricas, indicadores e metas, pois estamos só olhando para a velocidade e eficiência do nosso processo de entrega, estamos olhando apenas para o OUTPUT, para o DELIVERY, para ENTREGAS.

É bom entregar bastante coisa, não é? Depende! Depende se este monte de coisa está gerando algum resultado para o negócio. E se responde perguntas como: Estamos indo para onde? Para onde a nossa empresa está indo e para onde o nosso produto está indo? Nosso cliente está satisfeito com o que entregamos? O que entregamos é utilizado? O que mudou no negócio com as nossas entregas?

Métricas de performance de produto ou resultado de negócio

Como dizia Peter Drucker há muito tempo atrás: “Nada mais inútil do que fazer certo a coisa errada!”. Esta frase é velha, sensacional e muito aplicável hoje em dia. Não adianta nada entregar um monte de coisa e ter um processo perfeito com uma super eficiência se no final entregamos produtos que não servem para nada, não são utilizados, ou pior, nem sabemos desta informação, porque não medimos nada em relação a métricas, indicadores e metas de produto ou negócio.

Sendo assim, a velocidade importa, mas somente se o resultado também estiver bom, e que resultado é este? Para responder esta pergunta precisamos olhar para o que estamos produzindo e se ao entregar para o nosso cliente final esta entrega gera melhorias, promove mudanças, e traz algum tipo de ganho para quem esta recebendo esta entrega, e com isso chegamos a um novo grupo de métricas. As métricas de negócio ou produto, que também são conhecidas como OUTCOME.

Para produtos e serviço de sustentação ou manutenção do negócio, teremos métricas e indicadores como ROI, Eficiência ou redução de tempo de processo, redução de custo, custo evitado, aumento de receita ou lucro, aumento de market share, aumento de vendas, ou seja, são as métricas e indicadores que nos ajudam a medir e entender se o negócio que nós já temos está indo bem, crescendo ou diminuindo sua efetividade e eficácia. Aqui entram estas duas palavrinhas complementares a eficiência.

Quando atuamos com inovação e agilidade, podemos utilizar métricas como a contabilidade da inovação que o Eric Ries traz em seu livro Startup Enxuta, a exemplo da Análise de Coorte, e podemos usar taxa de conversão, além das métricas ágeis por área de valor chave que o EBM Guide, ou Guia Baseado em Evidências da Scrum.org, traz. Tal como, satisfação do cliente ou funcionário, índice de uso do produto, participação do produto no mercado, frequência de release, tempo de estabilização de release, taxa de inovação ou dívida técnica.

Inclusive, se você é um PO e não conhece o EBM Guide, fica a dica, você deveria conhecer e este guia deveria ficar embaixo do seu braço ou na sua mesa tempo integral.

Veja, temos pelo menos dois grandes conjuntos de métricas e indicadores de produto e resultado do negócio que nos dão muito mais informações do que a quantidade de trabalho que entregamos ou finalizamos no final de uma Sprint ou semana, e ao combinarmos tudo conseguimos entender se realmente nosso trabalho entrega valor ou não.

Entregar Valor é combinar as métricas e entender o UAU do negócio

Time pensando sobre velocidade e resultado de negócio combinados em uma mesma entrega

O pulo do gato é simples: Defina suas métricas, indicadores e metas de performance de time e velocidade de entrega, e combine-as com o que você definiu de métricas, indicadores e metas de produto e resultado de negócio.

Vamos a um exemplo simples. Quando você consegue medir a quantidade de itens entregues em uma semana, e seus indicadores dizem que a sua vazão de entrega esta boa e a sua velocidade está adequada, você tem 50% de resultado. Para chegar ao 100% você deve conseguir medir o que gerou de resultado de negócio com estes itens entregues. Ao entregar esta quantidade adequada de trabalho também deve ter gerado uma mudança nos números do negócio.

Digamos que o seu cliente está insatisfeito e a taxa de Churn é alta, então não adianta você medir só a quantidade de itens que você entrega em uma semana, você precisa medir se a satisfação do seu cliente está subindo e se a taxa de Churn está caindo. Caso você não consiga medir este segundo conjunto você não está entregando valor, você está só entregando “coisas.

Este é o grande problema de muitos times ágeis ou SQUADs por ai, acham, ou pior, acreditam que entregar um monte de coisas na maior velocidade possível é entregar valor, porém não medem o valor real, não sabem o que estão mudando na vida do cliente ou no resultado do negócio ou produto.

Citei aqui só um exemplo de satisfação de cliente e Churn, poderia ser aumento de vendas ou receita, diminuição de falhas ou devoluções, aumento da performance da logística reduzindo tempo de entrega e reduzindo extravio ou danos de mercadorias. Vejam, são questões importantes para os clientes no final da cadeia, lá na ponta.

No fundo meus queridos e queridas, o cliente final que usa o que produzimos não está nem ai para a nossa Sprint perfeita, com 150 pontos entregues, retrospectiva com cards lindos e falando do quanto as pessoas se amam, e também não estão nem ai para os nossos Kanbans com WIPs perfeitos e CFDs que mostram uma cadência fluída entre entrada, puxada, trabalho e entrega. Quem se preocupa com isso é o nerd de carteirinha ou o apaixonado por métodos, nosso cliente está afim de saber, e esperando, que o que a gente entregue para ele mude e melhore a vida dele, se a gente não consegue medir isso estamos trabalhando com a sorte, e a experiência me diz que a sorte é traiçoeira e adora dar uma rasteira pelas costas da gente.

Buscando um indicador só para concluir

Antes de concluir é importante falar que não é porque mostrei várias opções de métricas que podem gerar inúmeros indicadores e metas, que você deve medir e controlar um grande número delas.

Quanto menos, melhor! Eu gosto muito do conceito do Lean Analytics, do Alistair Croll e do Benjamin Yoskovitz que tem um livro com este mesmo nome. O Lean Analytics é uma prática conhecida pelo conceito de A Única Métrica que Importa, em outras palavras, o foco da empresa deve se voltar para uma única métrica que realmente é importante para leva-la a alcançar seus objetivos, que pode mudar ao longo dos meses, mas em um mesmo período deve ser uma métrica única.

Não vou detalhar muito este conceito aqui neste artigo, quem sabe em um próximo, mas o importante é equilibrar. Não precisa ser uma única métrica, e não deve ser muitas também, caso contrário voltaremos ao desperdício e será muito difícil fechar o ciclo todo de métricas, indicadores e metas, e ainda combinar com os conjuntos de velocidade de entrega e resultado de negócio.

Partindo para a conclusão, quando não realizamos a combinação de métricas de OUTPUT com as de OUTCOME podemos simplesmente cair na falha de ter apenas métricas da vaidade, ou seja, para o nosso ego parece ser uma métrica ótima e que mostra que trabalhamos para caramba, porém ninguém fora da nossa equipe vê isso e muito menos está mudando ou melhorando algo ligado aos resultados de produto, negócio ou cliente.

Não podemos mais se envaidecer com métricas que enchem o nosso ego, precisamos trabalhar com métricas que melhorem a nossa velocidade de entrega e os resultados do nosso negócio de forma equilibrada e combinada, porque afinal, não adianta ser rápido demais e ir para o lugar errado, e não adianta ir para o lugar certo devagar demais. Concorda?

Isso tudo ajudará o seu time e o seu produto a serem cada vez mais importantes para a organização que você trabalha, ajudará muito mais a realmente entregar valor comprovado e com números que servem de argumento, e te ajudará a não entrar em futuros lay-offs como eu comentei no meu vídeo sobre a infantilidade do ágil, e nem tão pouco a ter SQUAD por ter, como eu comento no meu vídeo da SQUADIFICAÇÃO das empresas. Vou deixar ambos os links nas referências no final deste artigo, confere lá.

Se você chegou até aqui não vá embora sem deixar sua contribuição. Me conte ai nos comentários se você concorda ou discorda de mim e se você tem algum caso para contar sobre este tema.

Referência:

Versão em vídeo no Canal do Youtube: