A ironia do caso tem atraído a atenção de muita gente: uma pesquisa sobre os mecanismos psicológicos da desonestidade que acabou sendo retratada (grosso modo, "despublicada") por causa de… dados aparentemente fraudados.

Parte do burburinho em torno da situação também tem a ver com a relativa celebridade do pesquisador responsável pela presença de informações enganosas no estudo. Trata-se do economista comportamental israelense-americano Dan Ariely, professor da Universidade Duke (sul dos EUA).

Autor de três best-sellers, palestrante de sucesso na internet e colunista do jornal The Wall Street Journal, Ariely também é autor de "A (Honesta) Verdade Sobre a Desonestidade: Como Mentimos Para Todo Mundo, Especialmente para Nós Mesmos".

O estudo que tem colocado o especialista na berlinda foi publicado em agosto de 2012 no periódico especializado PNAS, da Academia Nacional de Ciências dos EUA. No trabalho, Ariely e mais quatro coautores de diferentes instituições afirmam ter identificado uma medida simples para aumentar a honestidade das pessoas em diferentes contextos.

Segundo o estudo, bastaria que as pessoas assinassem um formulário afirmando "Sim, vou transmitir informações fidedignas" antes de participar de diferentes atividades para que elas se comportassem de forma substancialmente mais honesta. Colocar a assinatura nessa afirmação depois da atividade não teria o mesmo efeito, sugere o estudo.

O grupo testou essa hipótese por meio de diferentes experimentos, mas a controvérsia surgiu por causa dos números suspeitos do experimento 3, no qual foram analisadas informações supostamente obtidas com a ajuda de uma companhia de seguros de carros que Ariely havia contatado.

De acordo com os autores da pesquisa, os dados da quilometragem de cerca de 20 mil carros cadastrados na seguradora indicavam que, quando a pessoa primeiro assinava a declaração de honestidade e depois preenchia as outras informações, a quilometragem relatada era mais alta, em média.

Isso seria um sinal de que a presença da assinatura no topo do formulário de fato levava a um preenchimento mais fidedigno, já que a quilometragem mais alta tende a aumentar as taxas cobradas pela seguradora. Os resultados acabaram se tornando mais um exemplo de como pequenas alterações situacionais são capazes de afetar positivamente o comportamento humano.
No entanto, membros da mesma equipe tentaram reproduzir esses resultados em estudos posteriores, sem sucesso, o que acendeu um sinal amarelo sobre as conclusões da pesquisa e sobre o especialista da Universidade Duke. "

"Basicamente, o único que tinha acesso à coleta dos dados de campo era o próprio Ariely. Os outros autores ajudaram na análise e discussão dos resultados", explica Altay de Souza, pesquisador do Departamento de Psicologia da Unifesp (Universidade Federal de São Paulo).

Foi então que entrou em cena o trio de pesquisadores formado por Uri Simonsohn, Leif Nelson e Joe Simmons, responsáveis pelo blog DataColada, em que analisam questões controversas sobre dados de estudos comportamentais. A equipe do blog (junto com outros pesquisadores que os ajudaram de forma anônima) ficou coçando a cabeça diante de algumas estranhezas nas informações da pesquisa original.

Com base em informações de outras companhias de seguro, eles chegaram ao que seria a proporção esperada de quilômetros rodados pelos segurados. "Como seria de se esperar, vemos que algumas pessoas dirigem muito, outras dirigem pouco e a maioria fica na média", escrevem eles.

Acontece, porém, que os dados supostamente obtidos por Ariely fogem totalmente desse padrão intuitivo. Grupos exatamente iguais de motoristas dirigiram 0, 10 mil, 20 mil, 30 mil, 40 mil e 50 mil milhas (unidade de medida empregada normalmente nos EUA). E absolutamente ninguém ultrapassou as 50 mil milhas no período estudado.

Além disso, depois que os donos dos carros assinaram os formulários, as quilometragens (ou milhagens) relatadas não incluem nenhum arredondamento. Ou seja, todos os participantes supostamente olhavam o hodômetro e anotavam com exatidão os números -25,673 mil quilômetros rodados, digamos. Outros estudos, porém, mostram que é muito comum as pessoas arredondarem esse tipo de número em formulários.
Ambos os fatores indicavam que os dados poderiam ter sido gerados automaticamente usando números aleatórios. Segundo a equipe do DataColada, embora não seja possível ter certeza sobre quem manipulou as informações e por qual motivo, "não precisamos saber a resposta a essas perguntas para saber que os dados foram fabricados, sem sombra de dúvida".

Alguns dos autores da pesquisa original já tinham se declarado favoráveis a retratar o artigo, ou seja, torná-lo inválido, quando não conseguiram replicar os resultados em estudos subsequentes. Quando a análise do DataColada saiu, a coautora Lisa Shu tuitou: "Foi um deleite ver esse trabalho brilhante de jornalismo investigativo de dados". O artigo, por fim, acabou sendo invalidado pela revista PNAS.

Em mensagem ao blog, Ariely disse que o processo de coleta e tabulação dos dados foi feito inteiramente pela seguradora e reafirmou que só ele tinha tido contato com a empresa.

"Eu não suspeitava que houvesse algum problema com os dados e não fiz testes para verificar se eles continham irregularidades, coisa que, depois dessa lição dolorosa, começarei a fazer regularmente", afirmou ele.

A situação pode ser vista como um problema mais amplo desse tipo de estudo comportamental com seres humanos: a área tem sofrido sérias dificuldades no que diz respeito à replicação de estudos antes considerados clássicos. Essa chamada crise de replicabilidade afeta até ganhadores do Nobel de economia, como o israelense Daniel Kahneman (aliás, editor original do artigo despublicado).

"O Kahneman tem sido bem honesto sobre isso, chegou a mandar uma carta aberta para a revista científica Nature chamando a atenção para a necessidade de reproduzir estudos clássicos", diz Altay de Souza. "Ele desceu o sarrafo no pessoal das áreas de economia comportamental e marketing que não usam a teoria dele como teoria, mas como argumento de autoridade."

Para o pesquisador da Unifesp, o caso envolvendo Ariely é mais um alerta sobre a necessidade de transparência na área, com a postagem imediata dos dados brutos de cada estudo junto com a publicação.