Como mensurar qualquer coisa

Em época de crise econômica, qualquer deslize pode ser fatal. Por mais que o sucesso passe por uma situação de risco antes, é próprio do ser humano buscar ao máximo eliminar as incertezas e buscar prever aquilo que muitas vezes não pode ser previsto. Ao menos não precisamente. Ainda assim, não são raros os casos surgirem apenas baseados em intuições, mas que tendem a fracassar e, mesmo quando bem sucedidas, não podem ou não são avaliados na hora de elaborar um novo projeto.

Para Douglas Hubbard, consultor especialista em tecnologia da informação (TI), mesmo quando o cálculo de riscos e benefícios é levado em conta, muitos critérios fundamentais são deixados de lado simplesmente por serem tachados como intangíveis. Para Hubbard, não há nada que não possa ser mensurado. Ele é o inventor da Economia de Informações Aplicadas (AIE), metodologia de mensuração que lhe rendeu elogios de instituições de pesquisa como do The Group e Forrester Research. Além disso, seu último livro chegou recentemente às livrarias brasileiras, com o título “Como Mensurar Qualquer Coisa”, publicado pela Qualitymark Editora.

Em entrevista ao Mundo do Marketing, o autor comenta o tema do livro e sugere que as empresas mantenham uma análise do histórico de riscos e benefícios de ações anteriores, além de elaborar escalas com uma previsão mínima e máxima de investimento e ganho. Nas análises, Douglas Hubbard recomenda a avaliação de aspectos vistos como intangíveis como funcionários, satisfação de consumidores e decisões.

M.M: Quais são as maiores dificuldades ao se calcular o ROI?
Douglas Hubbard: Primeiro, acredito que quando a maioria das pessoas está falando sobre computar ROI, eles estão realmente conversando sobre prever ROI. Os cálculos de ROI para sistemas que já existem (talvez para justificar investimentos anteriores) têm desafios semelhantes, mas em menor quantidade. O maior desafio é derrubar a maioria dos métodos de cálculos de ROI que estão sendo utilizados. Formas tradicionais apenas funcionam quando sabe-se exatamente todo o custo e benefício e em previsões de valor de TI, o que quase nunca é o caso. Gerentes e analistas precisam aprender como a incerteza e o risco são quantificados em outras indústrias onde também há dados limitados para se fazer previsões – como extração de petróleo ou certas áreas de seguros.

Também é preciso derrubar os vários métodos não-quantitativos que são vistos como “estruturados” ou provados quando na verdade não há nenhuma ciência por trás deles. Claro que sou à favor de um novo método, um teste científico justo, mas digo “derrubar” ao invés de “testar” porque para muito desses métodos – como o de pontuações de cinco pontos – os testes já foram feitos e sabemos que as decisões não foram aperfeiçoadas com eles. Pesquisadores apenas puderam mostrar que a garantia melhora com esses métodos sem precisar apurar os dados anteriores dos responsáveis pelas decisões ou mesmo fazê-los piorarem. Acredito que a confiança reforçada com decisões de resultados não-aperfeiçoadas ou degradadas podem ser um desastre.

M.M: O que deve ser levado em consideração ao calcular o ROI?
Douglas Hubbard: O fato mais importante ao calcular ROI é a outra metade do problema – o risco. Mas é preciso computar o risco com probabilidades – e não “pontuações” – e isso significa que precisamos calcular nossa incerteza. Apenas se usa números exatos quando é conhecido exatamente um número, o que elimina a aproximação tradicional com TI. Para qualquer coisa que precisa ser prevista, incluindo custos e benefícios, as pessoas podem ser ensinadas a avaliar as incertezas com probabilidades. Elas podem se tornar muito boas nisso a ponto de estarem corretas 90% das vezes em que disserem que estão 90% seguras.

Ao invés de perguntar as pessoas por estimativas em pontos de custos e benefícios altamente incertos, nós perguntamos a elas por uma escala que seja larga o suficiente de forma que eles fiquem 90% seguros de que contenha a verdadeira resposta. Essas escalas podem ser usadas em simulações que computam as adversidades de perdas e de várias magnitudes. O risco seria lidado como se lida em energia nuclear, extração de petróleo e seguros.

M.M: Como são feitos esses cálculos?
Douglas Hubbard: Um intervalo de segurança é medido em números e é inteiramente uma ferramenta quantitativa. É a incerteza que é quantificada. Se estamos incertos sobre o custo de um projeto, nós não apenas dizemos que custa “cerca de US$ 2 milhões”. Dizemos, por exemplo, que há 90% de chance que o custo seja entre US$ 1.5 milhões e US$ 2.5 milhões, com um mínimo absoluto de US$ 1.2 milhões. Se uma companhia faz isso rotineiramente em todos os custos e benefícios de todos os seus projetos, depois de apenas alguns meses ou anos, haverá uma grande número de intervalos de confiança que eles podem comparar com o que realmente aconteceu para ver se, de fato, o verdadeiro resultado está dentro do intervalo tanto quanto as probabilidades indicaram.

M.M: Que cuidados é preciso ter na hora de avaliar essas estimativas?
Douglas Hubbard: Todas as certezas quantificadas podem realmente ser propriamente expressadas ao utilizar escalas e probabilidades. Mas devemos ser cuidadosos sobre se um mero cálculo é adequado. Mensurações não são apenas baseadas em adição e subtração de valores existentes, mas em observações empíricas. Se você adiciona um monte de número, você não necessariamente mensurou alguma coisa. Você tem que fazer observações sobre o mundo e usá-las para computar estimativas de alcance. A ideia de conduzir um estudo empírico com uma pesquisa ou experimentos controlados para mensurar ou prever um benefício ou custo é, por alguma razão, quase não ouvida em TI. Eles tendem a confundir uma mensuração com algo como fazer proporções de relatórios existentes. Nós precisamos de mais ferramentas se queremos fazer mensuração sobre o mundo à nossa volta.

M.M: O que não pode ser calculado?
Douglas Hubbard: Se você quer dizer através de números exatos, muitas poucas coisas podem ser mensuradas, nem mesmo previsão de vendas. Mas podemos calcular estimativas de qualquer coisa – valor da informação, aperfeiçoamento de produtividade, decisões, etc.

M.M: Como valores intangíveis, como funcionários, decisões e satisfação de consumidores podem ser calculados?
Douglas Hubbard: No meu livro explico que não há intangíveis. Não há nada que precisamos incluir nos negócios que não pode ser calculado de alguma maneira. Pergunto a meus clientes, como você observa seus funcionários, decisões, consumidores? Você pode rastrear seu comportamento, fazer pesquisas com eles, realizar um experimento (como um teste de mercado para consumidores)? É claro que pode. Mas precisamos ter certeza do que está sendo mensurado. Precisamos saber para que a informação vai ser usada em um cálculo de ROI/risco para determinar se um projeto é justificável?

O cálculo é feito por números inexatos, tal como números exatos são computados. Nós computamos um alcance que tem 90% de probabilidade de conter a resposta correta. Há uma variedade de métodos para isso dependendo do problema. O método mais simples é a “estimativa de probabilidade controlada” que mencionei. Os gerentes podem ser treinados para subjetivamente avaliar um intervalo de garantia que realmente tenha um bom histórico de rastreamento (como estarem certos 90% das vezes em que dizem estar 90% seguros).

M.M: Porque é importante calcular o intangível?
Douglas Hubbard: Acredito que os elementos mais importantes no ROI são quase sempre as coisas pensadas como “intangíveis”. Isso exclui alguns fatores críticos da análise de risco/ROI que acabam sendo as partes mais importantes da decisão de investimento. Muito dos maiores benefícios foram excluídos da avaliação de projetos apenas porque foram pensados como incomensuráveis. Felizmente, isso não precisa mais ser feito.

M.M: Como projetos anteriores podem ser levados em consideração na hora de elaborar novas propostas?
Douglas Hubbard: Uma análise estatística do histórico pode ser bem esclarecedora. Muitos gerentes acreditam que, já que cada projeto é único, o histórico não se aplica. Mas também pode ser observado que modelos estatísticos baseados em dados históricos performam melhor que estimativas humanas. No meu segundo livro, The Failure of Risk Management (“O Fracasso do Gerenciamento de Risco”), discuto um exemplo da NASA onde os custos e a duração dos projetos desenvolvidos em sondas espaciais são rotineiramente melhor estimados através de modelos históricos, apesar dos responsáveis pelas missões insistirem que suas sondas são tão únicas que o histórico não se aplica.

É preciso integrar melhor o Departamento de Finanças com o de Marketing?
Douglas Hubbard: É necessária uma integração maior entre todos os departamentos e os métodos de análise de decisões que funcionam. Infelizmente pode ser observado que meras colaborações aumentam a confiança sem exatamente aumentar a precisão. A colaboração deve ser baseada em métodos que já foram provados que funcionam. E por “provados” quero dizer que foram mensurados em experimentos controlados, e não apenas usados por alguém que gostou deles.

Fonte: Mundo do Marketing

Abraços!