Amostras são, em geral, mais atualizadas, sobretudo quando a pesquisa é demorada
Ao definir a extensão dos procedimentos, cabe ao Auditor de Controle Externo zelar pela melhor utilização dos recursos disponíveis. O uso da Estatística Inferencial e do Cálculo de Probabilidades podem auxiliar a obtenção de melhores conclusões, otimizando o aproveitamento desses recursos.
A amostragem não estatística é aquela em que a seleção dos elementos depende do julgamento do pesquisador. Na prática, o Auditor usa seu julgamento profissional para selecionar os elementos que comporão a amostra, com base em sua experiência e nos recursos disponíveis. Portanto, o resultado obtido com esse tipo de amostragem não pode ser extrapolado para a população da qual a amostra foi retirada. Um exemplo muito comum de amostragem não estatística é a Curva ABC, em que os elementos de uma população são ordenados em ordem decrescente de valor e os testes de auditoria são executados nos elementos com maior valor.
Com esse tipo de amostragem, é possível construir um intervalo de confiança, que é um intervalo estimado, a partir de uma amostra, para um parâmetro de interesse (como, por exemplo, a proporção) de uma população. Em vez de estimar o parâmetro por um único valor (estimativa por ponto), é dada uma estimativa por intervalo, conforme a figura:
O nível de confiança é escolhido pelo profissional que estiver trabalhando com os dados. Comumente usa-se o nível de confiança de 90% ou 95%.
A interpretação correta para o nível de confiança, representado por “1 – a”, é que se repetirmos um procedimento infinitas vezes, em aproximadamente (1 - a)% das vezes o intervalo de confiança obtido conterá o verdadeiro valor do parâmetro populacional em estudo (que permanece desconhecido).
|
A margem de erro é uma estatística que expressa, em termos percentuais ou absolutos o quanto, para mais ou para menos, o valor de um parâmetro da população se distancia do valor estimado. A margem de erro tende a ser menor para maiores tamanhos de amostra. Por outro lado, se mantido o mesmo tamanho de amostra, a margem de erro tende a ser maior para maiores níveis de confiança.
Quantitativamente, a inferência busca traduzir, em termos de margem de erro e nível de confiança, os resultados analisados de uma amostra.
3. CONSIDERAÇÕES ACERCA DO TAMANHO DA AMOSTRA
Uma das questões mais importantes em uma análise estatística é determinar qual o tamanho da amostra que devemos obter: amostras muito grandes são dispendiosas e demandam mais tempo de manipulação e estudo dos dados; enquanto que amostras muito pequenas podem não ser representativas da população.
Portanto, tal questão não é trivial. Por exemplo, uma amostra constituída por 10% dos elementos de uma população é adequada ou não? Depende. Uma população de 50 elementos conduziria a selecionar uma amostra de 5, o que poderia ser pouco, enquanto que uma população de 5 milhões conduziria a selecionar uma amostra de 500.000, o que seria excessivo. Assim, ainda que haja uma relação direta entre o tamanho da amostra e o tamanho da população (quando a população aumenta, em princípio, o tamanho da amostra também aumenta), esta relação não se apresenta de forma proporcional.
O tamanho da amostra também depende da variabilidade da população. Se tivermos um tanque com mil peixes idênticos e do mesmo tamanho, basta analisar um único peixe para termos uma ideia muito aproximada da população. No entanto, se nesse mesmo tanque existirem mil peixes de várias espécies e de diferentes tamanhos, é necessário uma amostra muito maior para que seja representativa da população. Também aqui há uma relação direta entre o tamanho da amostra e a variabilidade da população: quanto maior for a variabilidade da população, maior terá de ser a amostra.
Por fim, o tamanho da amostra depende, ainda, do tipo de variável em questão (qualitativa ou quantitativa) e dos níveis de confiança e precisão desejados.
É importante para o auditor ter em mente que mesmo pequenas amostras podem evidenciar conclusões relevantes. Por exemplo, em um fornecimento de 100.000 unidades de uma mercadoria com duas possibilidades: “conforme” as especificações do contrato ou “não conforme”; retiramos uma amostra de 5 unidades, aleatoriamente, todas não conformes.
O que podemos afirmar sobre a proporção de mercadorias não conformes no total do fornecimento?
É isso que o teste do intervalo de confiança responde. Nesse caso, com 95% de confiança, é possível afirmar que entre 55% (55.000) e 100% (100.000) das mercadorias estão não conformes. Em outras palavras, é possível afirmar com 95% de confiança que pelo menos 55.000 mercadorias estão em desconformidade com as especificações do contrato.
Caso o teste fosse feito em 6 mercadorias e todas estivessem não conformes, o intervalo de confiança seria [61% ; 100%]. O quadro 1 ilustra o que pode ser afirmado sobre a proporção de mercadorias não conformes no total do fornecimento caso, em uma amostra aleatória simples de X mercadorias, todas estejam em não conformidade.
Quadro 1 – Intervalos de confiança para testes de conformidade em uma amostra aleatória simples de X mercadorias, todas não conformes (total de 100.000 mercadorias fornecidas)
4. O TAMANHO IDEAL DA AMOSTRA
O Auditor deve ponderar o custo da realização do procedimento de auditoria em cada elemento com a precisão necessária para o resultado.
A proporção amostral é obtida dividindo-se o número de elementos na amostra que apresentam a característica analisada pelo tamanho da amostra.
|
O gráfico 1 apresenta intervalos de confiança calculados
[1] a partir de amostras com
proporção amostral aferida de 80%. Notadamente, a amplitude do intervalo de confiança é menor para maiores tamanhos de amostra. Porém, também nota-se que conforme o tamanho da amostra aumenta, menor é o ganho do aumento da amostra em termos de diminuição do intervalo.
Gráfico 1 – Tamanho da amostra x amplitude do intervalo de confiança - Amostras com proporção de 80%, Nível de Confiança de 95% e População Infinita
Para uma amostra de 5 elementos com proporção amostral de 80% é possível estimar a população, com 95% de confiança, em um intervalo entre 28,36% e 99,49% (amplitude de 71,13%). Ao considerarmos uma amostra com 25 elementos, com a mesma proporção amostral, é possível inferir um intervalo de confiança entre 59,30% e 93,17% (amplitude de 33,87%). Porém, ao considerarmos uma amostra com 20 elementos a mais (45 elementos), o intervalo de confiança inferido é entre 66,28% e 89,97% (amplitude de 23,89%).
¹Intervalos calculados a partir do método exato (Clopper-Pearson).
O tamanho da amostra depende de, entre outros fatores:
- Tamanho da população
- Variabilidade da população
- Tipo de variável
- Nível de confiança
- Margem de Erro (precisão) desejada
|
5. AMOSTRAGEM ESTATÍSTICA EM AUDITORIA DE CONTROLE EXTERNO
Diversas normas, a exemplo da ABNT NBR 5426:89 (“Planos de amostragem e procedimentos na inspeção por atributos”), detalham os procedimentos relacionados ao trabalho do controle de qualidade do próprio fornecedor do produto ou do controle exercido pelo fiscal do contrato para aceitar ou rejeitar lotes, estabelecendo uma amostra mínima para a fiscalização. O papel do controle externo, exercido pelo Tribunal de Contas, é diferente.
No caso de um acompanhamento de execução contratual, o objetivo do Tribunal de Contas é verificar se as cláusulas do contrato estão sendo cumpridas conforme o pactuado. Utilizando-se dos procedimentos detalhados neste artigo, é possível que o Tribunal de Contas, com base em uma amostra estatística, utilize a inferência para avaliar, por exemplo, se as mercadorias recebidas pela Prefeitura estão em conformidade com as especificações técnicas do contrato, considerando, de forma conservadora, o limite inferior do intervalo de confiança. Cabe destacar que um ensaio em uma amostra custa dinheiro público, e o Auditor precisa avaliar o custo-benefício marginal (de se fazer um ensaio a mais, por exemplo).
Independentemente do tamanho da amostra, é possível fazer alguma inferência acerca de qualquer população. Logicamente, quanto maior o tamanho da amostra, menor a margem de erro e consequentemente menor o intervalo de confiança. Por outro lado, mesmo com uma amostra pequena, é possível extrair algumas conclusões.
Obs.: O Instituto Brasileiro de Auditoria de Obras Públicas (IBRAOP) recomenda que as auditorias do controle externo sejam feitas em no mínimo 10% do tamanho da amostra do fiscal do contrato.
6. EXEMPLOS DE SITUAÇÕES EM QUE É POSSÍVEL UTILIZAR A ESTATÍSTICA INFERENCIAL
- Extrapolação do percentual de sobrepreço/superfaturamento obtido a partir de uma amostra aleatória simples;
- Verificação se os produtos entregues estão em conformidade com as cláusulas e especificações técnicas do contrato (ex.: merenda escolar; pavimentação);
- Avaliações de programas de governo;
- Fiscalizações de obras;
- Auditorias operacionais (ex.: índice de satisfação de usuários dos serviços públicos);
- Regularidade de auditoria de pessoal (ex.: folha de pagamentos);
- Regularidade de notas fiscais;
- Testes de controle (ex.: adequação das classificações e dos lançamentos contábeis das contas);
- Auditorias de sistemas de informação.
7. CONCLUSÃO
A utilização de amostragem estatística em auditoria de controle externo permite que sejam extraídas conclusões sobre as amostras coletadas e que essas conclusões possam ser extrapoladas para a população pesquisada.
Independentemente do tamanho da amostra, é possível fazer alguma inferência acerca de qualquer população. Logicamente, quanto maior o tamanho da amostra, menor a margem de erro e consequentemente menor o intervalo de confiança. Por outro lado, mesmo com uma amostra pequena, é possível extrair algumas conclusões, cabendo ao Auditor ponderar o custo da realização do procedimento de auditoria em mais elementos com a precisão necessária para o resultado.
Dessa maneira, qualquer outra pessoa ou empresa que fizesse esses mesmos testes, dentro das mesmas condições e na mesma amostra, chegaria aos mesmos resultados obtidos pelo Tribunal de Contas.
* Rafael Waissman é engenheiro civil, agente de fiscalização do Tribunal de Contas do Município de São Paulo (TCMSP) e membro do Grupo de Métodos Quantitativos.
* Thulyo Tavares é economista, supervisor de equipes de fiscalização e controle do TCMSP e membro do Grupo de Métodos Quantitativos.
REFERÊNCIAS
Weizhen Wang (2015) Exact Optimal Confidence Intervals for Hypergeometric Parameters, Journal of the American Statistical Association, 110:512, 1491-1499, DOI: 10.1080/01621459.2014.966191.
Clopper, C. & Pearson, E. S. (1934). The use of confidence or fiducial limits illustrated in the case of the binomial. Biometrika 26, 404 413. 2, 4.
Wilson, E. B. (1927). "Probable inference, the law of succession, and statistical inference". Journal of the American Statistical Association. 22: 209–212.
Agresti, Alan; Coull, Brent. (1998). "Approximate is better than 'exact' for interval estimation of binomial proportions". The American Statistician. 52: 119–126.
Zieliski, W. (2009). The shortest clopper-pearson confidence interval for binomial probability. Communications in Statistics-Simulation and Computation 39, 18193
Using Statistical Sampling. Revised May 1992. United States Government Accountability Office (GAO).
Planos de amostragem e procedimentos na inspeção por atributos (NBR 5426).
Apuração de sobrepreço e superfaturamento em obras públicas. OT IBR 005/2012. Ibraop.
Estudo estatístico para extrapolação do percentual de sobrepreço obtido a partir de uma amostra. Alexandre Sampaio Botta (TCU) & André Pachioni Baeta (TCU), Sinaop Cuiabá/MT 2011.
Tamanho da amostra em estudos clínicos e experimentais. Hélio Amante Miot (2011).
Introdução à Inferência Estatística. Maria Eugénia Graça Martins (2006).
Estimativas de proporções em questões politômicas. Ângelo Henrique Lopes da Silva. Revista do TCU (Set/Dez 2012).
Técnicas de amostragem para auditoria. Secretaria-Geral de Controle Externo. Tribunal de Contas da União (2002).
O Estudo Econométrico para Apuração de Sobrepreços Decorrentes da Prática de Cartel. Nivaldo Dias Filho (2016).
N-SFC-01-01 – Procedimento Operacional Padrão da Subsecretaria de Fiscalização e Controle (SFC) do Tribunal de Contas do Município de São Paulo (TCMSP) que trata da Estatística Descritiva.
N-SFC-01-02 – Procedimento Operacional Padrão da Subsecretaria de Fiscalização e Controle (SFC) do Tribunal de Contas do Município de São Paulo (TCMSP) que trata da Estatística Inferencial.
Fonte: TCM-SP (Tribunal de Contas do Município de São Paulo)
