Valor-p

Na estatística clássica, o valor-p (também chamado de nível descritivo ou probabilidade de significância)^[1], é a probabilidade de se obter uma estatística de teste igual ou mais extrema que aquela observada em uma amostra, sob a hipótese nula. Por exemplo, em testes de hipótese, pode-se rejeitar a hipótese nula a 5% caso o valor-p seja menor que 5%. Assim, uma outra interpretação para o valor-p, é que este é o menor nível de significância com que se rejeitaria a hipótese nula. Em termos gerais, um valor-p pequeno significa que a probabilidade de obter um valor da estatística de teste como o observado é muito improvável, levando assim à rejeição da hipótese nula.

Em um teste clássico de hipóteses, são definidas duas hipóteses, a nula (H₀) e a alternativa (H_A). Em muitas aplicações da estatística, convenciona-se definir a hipótese alternativa como a hipótese formulada pelo pesquisador, enquanto a hipótese nula é o seu complemento. A princípio, a hipótese nula é considerada a verdadeira. Ao confrontarmos a hipótese nula com os achados de uma amostra aleatória tomada de uma população de interesse, verifica-se a sua plausibilidade em termos probabilísticos, o que nos leva a rejeitarmos ou não H₀. Se não rejeitamos H₀, tomamo-la como verdadeira; caso contrário, tomamos H_A como verdadeira.

No entanto, por utilizarmos nesta tomada de decisão uma amostra (uma parte da população) e não a população inteira, podemos cometer dois tipos de erro. Cometemos um erro tipo I quando rejeitamos H₀ e H₀ é verdadeira, e cometemos um erro tipo II quando não rejeitamos H₀ e H₀ é falsa. A tabela abaixo descreve estas situações.

A probabilidade de cometermos um erro tipo I é chamada de nível de significância, denotado pela letra grega ${\displaystyle \alpha }$. O nível de significância é geralmente determinado pelo pesquisador antes da coleta dos dados. Em muitas aplicações da estatística, o nível de significância é tradicionalmente fixado em 0,05.^[2]

Com base nestes conceitos, podemos definir o valor-p como a menor escolha que teríamos feito para o nível de significância, de forma que rejeitaríamos H₀. Por exemplo, vamos supor que o nível de significância foi fixado em ${\displaystyle \alpha }$ = 0,05. Um valor-p igual a 0,20 indica que nós teríamos rejeitado H₀ se tivéssemos escolhido um nível de significância de 0,20, ao menos. Como escolhemos ${\displaystyle \alpha }$ = 0,05, não rejeitamos H₀. Isto leva a uma regra simplista, mas usual, onde rejeitamos H₀ se o valor-p é menor que ${\displaystyle \alpha }$ e não rejeitamos H₀ caso contrário.

É preciso muita cautela na interpretação de um valor-p, dado que esta medida é bastante influenciada pelo tamanho da amostra. Amostras grandes tendem a produzir valores-p pequenos, ainda que o efeito observado não tenha grande importância prática, enquanto amostras pequenas tendem a produzir valores-p grandes, ainda que exista um importante efeito em um ponto de vista prático.^[3] Por isso, o uso dos valores-p nas pesquisas médicas tem sido bastante criticado por vários autores.^[4][5]

O valor-p é, basicamente, um parâmetro estatístico que indica se determinada hipótese, formulada a priori, deve ser rejeitada ou não. Em um teste estatístico, como num teste randomizado – muito comum em testes com seres humanos – considera-se que as hipóteses são sempre estabelecidas antes da coleta dos dados, isto é, parte-se de uma premissa de que os dados são coletados “às cegas”, o que nem sempre acontece.^[6] Por exemplo, caso se pretenda comprovar a eficácia de uma nova droga no tratamento de uma doença, pode-se escolher um grupo de pessoas que vai tomar o medicamento e outro grupo, chamado grupo de controle, que tomará apenas uma pílula de açúcar, chamada de placebo. Em testes desse tipo, nem os próprios aplicadores dos medicamentos sabem para qual grupo estão sendo destinados determinado tipo de droga, e, em muitas ocasiões, não têm ideia de qual tipo de hipótese está sendo testada. Após a coleta, seguem-se os testes estatísticos que geram parâmetros como o valor-p, que servem para validar a eficácia do método ou não.

O problema não está no resultado do teste em si, mas na crença quase absoluta de que o conceito do valor-p – que pertence a uma tradição de pensamento na Estatística chamada de “frequentista” ou "frequencista" – seja correto para a tomada de decisões, como atestar se determinada descoberta pode ser considerada realmente significativa. O caso da crença no valor-p e, mais ainda, no intervalo de 5% para o que é chamado “nível de significância” de uma descoberta foi assunto abordado em um artigo da Nature, de 2017.^[7] Nele são comentadas que diversos cientistas têm razões para acreditar que há um equívoco na interpretação e no uso indiscriminado do conceito, o que pode levar, inclusive, a uma taxa maior de “falsas descobertas”, supondo-se, naturalmente, uma pesquisa idônea.

Em 07 Março de 2016 a American Statistics Association^[8] publicou um artigo de diretriz para reduzir as interpretações erradas sobre o valor-P, entre os quais podem ser citados:

• O valor-p não é a probabilidade de a hipótese nula de um teste ser verdadeira.
• O valor-p não é a probabilidade de um dado resultado ter sido obtido de um "acaso".
• O valor-p não é a probabilidade de a hipótese nula ter sido enganosamente rejeitada.
• A magnitude do valor-p não indica o tamanho ou a importância de um efeito observado. Por exemplo, em uma pesquisa clínica onde são comparados dois tratamentos, um valor-p bastante pequeno não é um indicador de que existe uma grande diferença entre os efeitos dos tratamentos comparados.
• Valor-p e nível de significância não são sinônimos.^[9] O valor-p é sempre obtido de uma amostra, enquanto o nível de significância é geralmente fixado antes da coleta dos dados.

• Estatística de teste