Resenha do livro: ‘Desconfiança: Big Data, tortura de dados e o ataque à ciência.’

Um dia depois, Trump endossou a droga. O estudo – um estudo aberto e não randomizado com um tamanho de amostra muito pequeno – foi publicado no International Journal of Antimicrobial Agents em 20 de março. declaração dizendo que não acreditava mais que o estudo estava de acordo com seus padrões. Múltiplos grandes estudos randomizados mais tarde mostraria que a hidroxicloroquina não tem uso significativo no tratamento da covid-19.

“É importante ajudar a comunidade científica publicando novos dados rapidamente”, disse o ISAC em seu comunicado. Mas, acrescentou o grupo, “isso não pode ser feito à custa da redução do escrutínio científico e das melhores práticas”. Essa tensão entre velocidade e precisão – e seus efeitos desastrosos na confiança do público na pesquisa científica – está no cerne do “Desconfiança: Big Data, tortura de dados e o ataque à ciência.”

Smith, um economista cujo trabalho frequentemente examina o uso indevido de dados e estatísticas em várias disciplinas, argumenta que a atual crise de confiança na ciência cai na interseção de três forças: desinformação, tortura de dados e mineração de dados. A desinformação, como escreve Smith, é “tão antiga quanto a raça humana”, mas acelerada em velocidade e alcance junto com as mídias sociais. A tortura de dados descreve a prática de manipular dados até que eles produzam o resultado desejado – por exemplo, simplesmente descartando resultados que contradizem o argumento de um estudo. E a mineração de dados, impulsionada pela abundância de dados disponíveis e pela velocidade com que os algoritmos de computador podem vasculhá-los, envolve extrair correlações de dados que podem ser coincidências e imbuí-los de significado. Baseando-se em exemplos que vão desde bitcoin até perda de peso e inteligência artificial, Smith explica como “a reputação duramente conquistada pela ciência está sendo prejudicada por ferramentas inventadas por cientistas”.

Quando os historiadores começaram a combater a desinformação

Muitas vezes, as pessoas são tentadas a confiar em estatísticas e algoritmos como árbitros neutros. Mas os algoritmos são incapazes de entender independentemente o valor do que estão gerando. Eles também são muito bons em produzir a aparência de significado, o que torna muito mais fácil vasculhar conjuntos de dados em busca das conclusões que você deseja ver neles. Quando um cientista usa um algoritmo para procurar uma relação estatisticamente significativa em um enorme tesouro de dados, eles vão encontrar algo. Pode muito bem ser um absurdo aleatório. Como observa Smith, “a explosão no número de coisas que são medidas e registradas ampliou além da crença o número de relações estatísticas falsas esperando para nos enganar”.

E, no entanto, a significância estatística pode ser suficiente para impulsionar a publicação em um periódico respeitável. Se a correlação for cativante o suficiente, receberá muita cobertura da mídia: as conclusões iniciais do estudo francês da hidroxicloroquina não se sustentaram quando mais pesquisadores investigaram o efeito da droga na covid-19. E, no entanto, a vida após a morte de toda essa atenção inicial foi longa e conseqüente, pois vigaristas anticiência e teóricos da conspiração continuaram a promover a droga como uma cura secreta para a covid-19 que os cientistas estavam encobrindo.

“Desconfiança” é mais convincente quando se examina como a manipulação de dados afeta vidas. A mineração algorítmica de dados tem sido usada para avaliar possíveis contratações, prever comportamento criminoso e aprovar empréstimos, mesmo quando aqueles que contam com essas informações, escreve Smith, “não têm como saber se é sensato” tirar tais conclusões.

“Desconfiança” é um forte argumento para o ensino de “alfabetização quantitativa” ao lado da alfabetização midiática, a última das quais se tornou um grito de guerra popular para aqueles que tentam combater a disseminação de informações erradas e falsas. “Precisamos reconhecer como dados, estatísticas e gráficos podem ser usados ​​e abusados ​​– e o aprendizado pode começar na escola primária e continuar na faculdade e até na pós-graduação”, escreve Smith.

Esse apelo por alfabetização quantitativa em ciência e na implantação no mundo real da análise de dados algorítmicos parece ainda mais urgente agora do que no verão passado, quando Smith concluiu “Desconfiança”. Ferramentas de IA generativas, como ChatGPT e DALL-E, estão se insinuando na vida on-line diária de mais e mais pessoas. Smith dedica um capítulo às promessas exageradas da IA, argumentando prescientemente que “o perigo real hoje não é que os computadores sejam mais inteligentes do que nós, mas que pensamos que os computadores são mais inteligentes do que nós e, consequentemente, confiamos neles para tomar decisões importantes nas quais não devemos confiar. fazer.”

Ignorância nem sempre é felicidade – e nem sempre é ruim

O capítulo de Smith sobre desinformação – e as recomendações subsequentes para abordá-la – parece, às vezes, menos matizado do que o resto do livro. Sua análise do papel dos bots na disseminação da desinformação pode depender muito do número de bots, e não do impacto que eles podem ter na disseminação da desinformação que eles amplificam, por exemplo. E muitas de suas recomendações para lidar com a desinformação soam como abordagens que grandes empresas já tentaram. Sua sugestão de que um exército de “voluntários de espírito público” poderia atuar essencialmente como editores da Wikipedia para falsidades da mídia social é boa. É também o que o Twitter observação de pássaros estava fazendo antes de Elon Musk assumir a plataforma.

Dito isso, as lições de “desconfiança” são muito necessárias. As recomendações de Smith para reformar a forma como os dados são usados ​​- incluindo fornecer mais suporte para pesquisa de reprodutibilidade e replicação, cursos de alfabetização estatística e priorização de estudos que fornecem descrições detalhadas de seus planos de pesquisa antes de realmente começar – são bem aceitas.

Há muita bobagem por aí, e todos nós somos perfeitamente capazes de reconhecê-la se tivermos as ferramentas certas. Como escreve Smith, “os humanos sabem mais”. Ou, de qualquer forma, deveríamos.

Big Data, tortura de dados e o ataque à ciência

Imprensa da Universidade de Oxford. 336 pp. $ 32,95