Validade e confiabilidade das pesquisas eleitorais

20140509-dinheirama-eleicoes-brasil

Em Metodologia, temos dois conceitos muito importantes e complementares: validade e confiabilidade. A mensagem deste texto é simples: pesquisas eleitorais possivelmente são válidas, mas não temos conhecimento algum sobre a confiabilidade delas.

Em termos simples, validade é “estar certo”. A operacionalização de um conceito é válida quando a variável ou indicador consegue captar os aspectos centrais da teoria. Uma amostra é válida quando consegue representar bem a população. O contrário da validade é o viés. Numa pesquisa amostral, se encontramos que a média de renda é 20 mil reais… podemos saber que esse não é um resultado válido.

Esse exemplo já mostra que, em geral, para dizer sobre validade, temos que ter um critério de comparação, um parâmetro. Numa pesquisa de opinião amostral, é preciso perguntar algumas coisas óbvias, cujos resultados já sabemos (a partir de um levantamento maior e desejavelmente não amostral, como o Censo Demográfico). Se essas perguntas “óbvias” geram resultados que convergem com o que conhecemos, podemos ficar mais tranquilos. E assim, possivelmente as perguntas “mais interessantes” e inéditas também produzirão resultados válidos.

Confiabilidade é precisão. Tem a ver com a margem de erro e a probabilidade de estar errado. O que aprendemos em Estatística é que pode haver todo tipo de combinação entre validade e confiabilidade:

Uma pesquisa pode ser:

1 – Válida (medir as características de forma representativa e sem viés) e confiável (precisa, com pouca margem de erro):

valida_confiavel

2 – Válida, mas pouco confiável (grande margem de erro): 

valida_nao_confiável

3- Inválida (viesada) e confiável (ou seja: acerta com precisão no lugar errado…)

invalida_confiável

Inválida e pouco confiável (pior dos mundos)

invalida_naoconfiavel
A validade não é uma coisa apenas estatística. Perguntas mal feitas geram resultados inválidos. Entrevistadores podem preencher questionários de forma errada ou mesmo com má fé. Na parte logística da pesquisa muitos problemas podem ocorrer… entrevistados podem não ser encontrados. Digitadores também podem errar… E o pior: o propósito da pesquisa pode não ser claro e a operacionalização dos conceitos pode não ter sido boa. This is the validity hell.

A confiabilidade pode ser determinada de antemão. Existem fórmulas matemáticas que determinam o tamanho da amostra. Basta definir a margem de erro máxima que se deseja e pronto.

Mas existem milhares de maneiras de fazer amostra… A forma teoricamente mais simples é a chamada Amostra Aleatória Simples. Basicamente é necessário ter o nome ou uma identificação de TODO MUNDO e depois fazer um sorteio em que todas as pessoas têm a mesma probabilidade de ser sorteado. E uma vez que houve sorteio, não é permitido substituir ninguém. Essa tipo de amostra, apesar de teoricamente simples, é muito difícil de ser realizada na prática: não há listagem completa da população!! E imagine só: uma única pessoa lá do interior do Amazonas e sorteada… depois uma de Porto Alegre… e assim por diante. Ficaria muito caro mobilizar uma equipe de pesquisa por todo território nacional pra entrevistar indivíduos dispersos.

Em pesquisa social, outras técnicas de amostragem são utilizadas. Geralmente aplicamos uma combinação de diversas estratégias. Vou dar o exemplo de como o IBGE faz a amostra da PNAD:
1 – Partimos o território nacional em várias regiões de interesse (estratos).
2 – Depois, dentro de cada estrato, sorteamos municípios (conglomerados). Os municípios maiores têm maior probabilidade de ser sorteado (probabilidade proporcional ao tamanho). E os municípios mais importantes serão incluídos na amostra com certeza.
3 – Dentro dos municípios sorteados, há divisões territoriais do próprio IBGE, os setores censitários, que são agrupamentos com cerca de 300 domicílios. Sorteia-se setores censitários — com equiprobabilidade.
4 – Dentro dos setores censitários, são sorteados domicílios — também com equiprobabilidade. E dentro dos domicílios sorteados, todos os indivíduos são entrevistados.

O calculo do tamanho amostral de uma pesquisa assim é beeemmm complicado. Não é uma fórmula simples… Mas a PNAD consegue representar bem não apenas o Brasil como um todo, como também regiões territórios menores: estados, regiões rurais e urbanas, regiões metropolitanas… A PNAD tem mais ou menos 400 mil casos.

Uma amostra com 2000 casos consegue ser representativa do Brasil. Mas com esse número de casos, não conseguimos fazer inferências sobre estados, regiões etc… Só para o Brasil, no agregado. E a margem de erro para esse número de casos é cerca de 5% para mais ou para menos. A margem de erro da PNAD é muito menor!! A confiabiabilidade tem tudo a ver com o número de casos.

Qual o problema das pesquisas eleitorais?

  1. Elas usam a fórmula da amostragem aleatória simples… Mas não realizam uma amostra aleatória simples, mas sim em múltiplos estágios. Ou seja, a margem de erro fornecida pela fórmula SIMPLESMENTE NÃO SE APLICA, está errada. O desenho amostral usado na fórmula é um e o efetivamente realizado é outro. Não sabemos de fato qual a margem de erro.
  2. As pesquisas eleitorais geralmente não são domiciliares… Elas perguntam às pessoas que transitam pelas ruas, em “Pontos de fluxo”. Mas nem todo mundo sai de casa todos os dias. E nem todo está nas ruas em horários comerciais… Há um viés de captação (problema de validade). Mas institutos diferentes usam de métodos diferentes…
  3. Por fim, pesquisas eleitorais não aplicam amostragem aleatória em todos os níveis. Sorteia-se municípios, locais de aplicação etc… Mas as pessoas efetivamente selecionadas respeitam uma “cota”: determina-se de antemão o perfil desejado dos entrevistados (por exemplo, “Mulher, com 25 a 30 anos, solteira, com ensino médio”). As regras da margem de erro aplicam-se estritamente a amostras aleatórias. Não há formula alguma para determinar a margem de erro de uma amostra por cotas.

Em geral, as coordenações das pesquisas eleitorais tentam “espalhar as pessoas pelas cidades”. Desta forma, eles conseguem obter muita diversidade em suas amostras. Isso minimiza os problemas de validade.

Possivelmente, eles acertam “em média”. O número de casos é elevado (2800 pessoas, acreditem, é o bastante). E a experiência tem mostrado que os resultados são razoáveis.

Mas uma questão continua: QUAL É A VERDADEIRA MARGEM DE ERRO DAS PESQUISAS ELEITORAIS?
A resposta é simples: NÃO SABEMOS.

9 respostas em “Validade e confiabilidade das pesquisas eleitorais

  1. Muito legal o texto! Finalmente uma crítica às pesquisas de opinião que não fala “como eles sabem? eu não fui entrevistado!” ou tira sarro com “só 2 mil pessoas pra falar de 200 milhões”.

    Realmente, há um abismo entre o prático e o teórico que provavelmente nunca será superado. Mas a questão é que isso é o que tem para o jantar, melhor do que nada. E cá pra nós, os resultados de pesquisas eleitorais, pelo menos, são úteis, mesmo desconhecendo a real variabilidade do estimador. Até porque, mesmo sendo por cotas, há uma amostragem em menor resolução antes, minimizando o viés da seleção. Nessa etapa final, que faz a coisa teoricamente degringolar, poderíamos apelar para as queridas suposições (por exemplo, que as pessoas foram selecionadas equiprovadamente) e seguir a vida!

    Creio que a existência do intervalo de “2 pontos percentuais, para mais ou para menos” (ler com voz do William Boner) se deva pela falta de cultura de consumo de dados estatísticos. Caso seja dada uma margem de erro, automaticamente será inserida a finalidade de uma estimativa (que é dar uma “ideia embasada” da coisa em estudo). Talvez seja antiético, sei lá rsrs. Mas quis dizer que poderia ser pior se ela não existisse.

    Além do mais, existem situações em que há de se ponderar entre o “(estatisticamente) significante” e o “(praticamente) significativo”. Nesse contexto de pesquisa eleitoral, o que realmente importa é os resultados estarem refletindo o esperado, fazendo-as, como você bem disse, válidas. A validade é a qualidade mais importante pq é ela quem vai apontar as possíveis fraudes (descaradas =P).

    Como sabemos que são válidas? Só com base nas pesquisas anteriores.

    Agora… a confiabilidade? Em pesquisas eleitorais, só serve para os estatísticos criticarem, pois, na prática, o que importa é o resultado final e não a distância entre o primeiro, segundo e terceiro lugar.

    Abs!

    ps: o último alvo, do “Inválida e pouco confiável (pior dos mundos)”, ainda parece “válida” rsrs.

  2. Eu já apliquei muitos questionários de pesquisa eleitoral e de mercado, na prática é impossível por diversos fatores uma amostra perfeitamente aleatória, principalmente por questões financeiras, as pessoas reclamam que a quantidade de entrevistados numa pesquisa eleitoral é pequena, mas não tem noção do custo que é uma pesquisa. Quem reclama que ‘nunca foi pesquisado’, passa o dia na internet reclamando que ‘nunca foi pesquisado’ ou trabalha o dia todo. Quem não sai de casa, realmente, tem poucas chances de ser pesquisado e vai sempre não acreditar que a pesquisa foi feita. Dependendo do tamanho do município a pesquisa é feita nos locais mais movimentados da cidade, onde há uma probabilidade maior de serem entrevistadas pessoas de faixa etária, idade, escolaridade diferentes por exemplo. Também não tem como uma pesquisa ser feita em cada bairro de uma cidade, imagine o custo de mandar um pesquisador para entrevistar 5,10,20 pessoas de cada bairro (dependendo da população do bairro). Na rua, ninguém tem tempo de parar p/ responder um questionário, na internet, todo mundo reclama que nunca foi pesquisado. Este também é um problema que atrasa as pesquisas elevando seu custo, nem sempre a pessoa abordada está com tempo ou interesse em responder ao questionário, tem gente que começa a responder, o celular toca e a pessoa aí andando e o questionário incompleto é excluído. Na pratica coloca-se na rua mais questionários que o necessário,pois sempre tem gente que não responde tudo, porque saiu andando, aí é uma entrevista a menos.

    • Olá Graziela,

      Você tem toda razão, é quase impossível executar uma amostra perfeitamente aleatória. E não é só uma questão de limites orçamentários da pesquisa: é também muito difícil treinar os pesquisadores para que sigam á risca todos os procedimentos; e não raro as pessoas exatas que devemos entrevistas não estão em casa ou se recusam ativamente a responder.

      As pessoas que argumentam que nunca foram entrevistadas não tem razão nessa reclamação. Ainda que a amostra fosse completamente aleatória e domiciliar, existe sempre grande probabilidade de não ser sorteado. Na real, a probabilidade de NÃO SER sorteado é até maior!

      Mas temos que convir que as pessoas que frequentam as ruas todos os dias tem um perfil específico, que é diferente do perfil da “população em geral”. Não veremos muitos idosos, nem pessoas que trabalham em casa (com serviços domésticos ou home office), nem pessoas doentes, nem pessoas que trabalham em outras cidades… E todos esses perfis de indivíduos votam.

      Eu entendo que as pesquisas de opinião atendem a um propósito prático e atuam dentro dos limites possíveis, de custo e de tempo. Mas isso não faz delas metodologicamente corretas — e essa não é só uma questão de formalismo. Estou falando dos resultados mesmo. Afinal não valeria de nada ser “metodologicamente correto” se isso fosse apenas seguir um roteiro vazio, sem nenhuma outra a finalidade.

      O que eu argumento no post é que as pesquisas de opinião e de mercado possivelmente “acertam em média”, mas não temos absolutamente nenhum controle da verdadeira margem de erro. Ou seja, não estou dizendo que elas estão necessariamente erradas — mas sim que toda pesquisa amostral tem uma imprecisão inerente, uma margem de erro e um grau de confiabilidade. Mas não temos informação nenhuma sobre esses pontos… Temos que simplesmente acreditar, como se os dados fossem dados… O problema é que essas pesquisas eleitorais guiam a opinião dos eleitores e têm grandes impactos públicos, norteando votos estratégicos. Toda vez que há um pretenso “empate técnico” (dentro de uma faixa de x% para cima ou para baixo), pode estar havendo um grande engano… A margem de erro pode ser até menor (e então não haveria o tal empate técnico). Mas jamais saberemos disso. E geralmente esses tais empates técnicos mudam a estratégia de muita gente. O grande problema é que a fórmula usada para o cálculo da margem de erro está completamente errada, não se aplica nem um pouco ao desenho amostral utilizado pelos institutos. E não tem salvação. Então aquelas margens divulgadas são só uma ficção.

      Eu não daria uma colher de chá para os institutos de pesquisa simplesmente porque eles estão com pressa e têm um orçamento menor do que desejariam… Os meus amigos engenheiros costumam dizer que “trabalho bom é trabalho pronto”. Eu penso diferente, pra mim, “trabalho bom é trabalho bom e pronto”. O trabalho dos institutos não é de todo ruim. Eles tornam as coisas possíveis, e realizam mesmo as pesquisas na prática — nós acadêmicos temos muito a aprender com isso. Falta pró-atividade aos acadêmicos, falta capacidades administrativas e de liderança, falta conhecimentos logísticos, falta aprender a dividir o trabalho, falta velocidade…

      • Treinar entrevistadores é complicado, até porque não é exatamente um emprego e sim um trabalho eventual, as vezes a pessoa faz algumas pesquisas na rua e quando adquire alguma experiência, já não tem mais interesse no trabalho, que é cansativo. O tempo que um instituto possui p/ realização de uma pesquisa é realmente muito curto. Aqui não é raro ver idosos na rua, falo praças, calçadão do centro da cidade e é um grupo que raramente recusa uma entrevista, o entrevistador é até orientado a não abordar só idosos, pois como eles raramente rejeitam responder um questionário, o entrevistador, pode dar preferência a grupos que ele já sabe que não vai recusar responder. O mais raro por aqui é entrevistar na rua alguém com nível superior por exemplo, quando é pesquisa de mercado voltada p/ esse público.

    • “Quem reclama que ‘nunca foi pesquisado’, passa o dia na internet reclamando que ‘nunca foi pesquisado’ ou trabalha o dia todo. Quem não sai de casa, realmente, tem poucas chances de ser pesquisado”

      Mas isso já pode ser uma tremenda fonte de viés.

  3. Pingback: A representatividade das pesquisas de opinião | Blog Pra falar de coisas

  4. Entendo que um pesquisa por amostragem perfeitamente aleatória é inalcançável pelo motivos apontados, mas o que você diria das pesquisas de boca de urna? Não é mais fácil encontrar os entrevistados neste caso? Como uma amostragem de 5000 entrevistados em um único estado pode resultar em erros de 10%, 11%? Se levarmos em conta a diferença entre o 1º e 2º colocado o erro é de 17%, 15% ou mesmo -14% (com a reversão do resultado). Quais as chances matemáticas disto ocorrer por acaso em 6, 7 estados diferentes?

    Fiz uma pequena pesquisa comparativa dos resultados de pesquisas de boca de urna e encontrei diferenças absurdas:

    Governador Pernambuco
    3-4.out.2014 5.out.2014* 5.out.2014* Erro
    Datafolha Ibope TSE
    Diferença do 1º p/ 2º 24 20 37,01 17,01
    Paulo Câmara (PSB) 61 58 68,08 10,08
    Armando Monteiro (PTB) 37 38 31,07 -6,93
    Zé Gomes (PSOL) 1 2 0,63 -1,37

    Governador Rio de Janeiro
    3-4.out.2014 5.out.2014* 5.out.2014* Erro
    Datafolha Ibope TSE
    Diferença do 1º p/ 2º 9 6 20,84 14,84
    Luiz Fernando Pezão (PMDB) 34 34 40,57 6,57
    Anthony Garotinho (PR) 25 28 19,73 -8,27
    Marcelo Crivella (PRB) 22 18 20,26 2,26

    Governador Rio Grande do Sul
    3-4.out.2014 5.out.2014* 5.out.2014* Erro
    Datafolha Ibope TSE
    Diferença do 1º p/ 2º 7 6 -7,83 -13,83
    Tarso Genro (PT) 36 35 32,57 -2,43
    José Ivo Sartori (PMDB) 29 29 40,4 11,4
    Ana Amélia Lemos (PP) 29 29 0,63 -28,37

    Governador Bahia
    1º-4.out.2014 5.out.2014* 5.out.2014* Erro
    Ibope Ibope TSE
    Diferença do 1º p/ 2º 0 10 17,14 7,14
    Rui Costa (PT) 46 49 54,53 5,53
    Paulo Souto (DEM) 46 39 37,39 -1,61
    Lídice da Mata (PSB) 5 9 6,62 -2,38

    Governador Ceará
    3-4.out.2014 5.out.2014* 5.out.2014* Erro
    Datafolha Ibope TSE
    Diferença do 1º p/ 2º 4 5 -1,4 -6,4
    Eunicio Oliveira (PMDB) 49 49 46,41 -2,59
    Camilo Santana (PT) 45 44 47,81 3,81
    Ailton Lopes (PSOL) 2 4 2,4 -1,6

    Governador São Paulo
    3-4.out.2014 5.out.2014* 5.out.2014* Erro
    Datafolha Ibope TSE
    Diferença do 1º p/ 2º 35 30 35,78 5,78
    Geraldo Alckmin (PSDB) 59 52 57,31 5,31
    Paulo Skaf (PMDB) 24 22 21,53 -0,47
    Alexandre Padilha (PT) 13 20 18,22 -1,78

    Governador Minas Gerais
    3-4.out.2014 5.out.2014* 5.out.2014* Erro
    Datafolha Ibope TSE
    Diferença do 1º p/ 2º 17 16 11,09 -4,91
    Fernando Pimentel (PT) 54 53 52,98 -0,02
    Pimenta da Veiga (PSDB) 37 37 41,89 4,89
    Tarcísio Delgado (PSB) 4 5 3,9 -1,1

    Como explicar isso? Seria incompetência absoluta do Ibope? Ou será que isso só pode ser explicado pela insegurança de nosso sistema eletrônico de votação? (Que, a propósito, é o único no mundo que não produz prova física do voto)

    Gostaria de colocar isso em probabilidades para ver se minha desconfiança realmente tem fundamento.

    Marcio.

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s