Testando hipóteses

Um tutorial simples e breve sobre teste de hipóteses usando Python

Imagem de: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

Neste blog, darei um breve tutorial de Teste de Hipóteses usando métodos estatísticos em Python. O teste de hipóteses faz parte do método científico com o qual todos estamos familiarizados, algo que provavelmente aprendemos em nossos primeiros anos educacionais. No entanto, nas estatísticas, muitas experiências são feitas em uma amostra de uma população.

“Determinar o que um conjunto amostral de observações nos diz sobre uma explicação proposta, em geral, exige que façamos uma inferência, ou como os estatísticos chamamos, para Razão com Incerteza. Raciocinar com incerteza é o cerne da inferência estatística e normalmente é feito usando um método chamado Teste de significância de hipótese nula. ” Fornos.

Como exemplo para este blog, usarei um conjunto de dados de futebol europeu encontrado no Kaggle e conduzirei testes de hipóteses. O conjunto de dados pode ser encontrado aqui.

Passo 1

Faça uma observação

O primeiro passo é observar os fenômenos. Nesse caso, será: Existe um impacto da agressão de defesa na média de gols permitidos?

Passo 2

Examine a pesquisa

Uma boa mentalidade a seguir é o trabalho mais inteligente e não mais difícil. Uma coisa boa a fazer é verificar se a pesquisa relacionada à sua observação já existe. Nesse caso, pode ajudar a responder à nossa pergunta. Estar ciente de pesquisas ou experimentos já existentes nos ajudará a estruturar melhor nosso experimento, ou talvez até responda nossa pergunta e não tenha que conduzi-lo em primeiro lugar.

etapa 3

Formar uma hipótese nula e uma hipótese alternativa

Uma hipótese alternativa é o nosso palpite e uma hipótese nula é simplesmente o oposto. Se a hipótese alternativa indicar que existe uma relação significativa entre duas variáveis, a hipótese nula indicará que não há relação significativa.

Nossa hipótese nula será: Não há diferença estatística nos objetivos permitidos com equipes com uma classificação de agressão de defesa maior ou igual a 65 versus equipes com menos de 65 anos.

Hipótese alternativa: Há uma diferença estatística nos objetivos permitidos com equipes com uma classificação de agressão de defesa maior ou igual a 65 versus equipes com menos de 65 anos.

Passo 4

Determine se nossa hipótese é um teste unilateral ou bicaudal.

Teste unicaudal

"Se você estiver usando um nível de significância de 0,05, um teste unilateral permite que todo o seu alfa teste a significância estatística na única direção de interesse". Um exemplo de teste unilateral seria "Times de futebol com classificação de agressão menor que 65 permitem estatisticamente significativamente mais gols que times com classificação menor que 65".

Teste bicaudal

“Se você estiver usando um nível de significância de 0,05, um teste bicaudal permite que metade do alfa teste a significância estatística em uma direção e metade do alfa teste a significância estatística na outra direção. Isso significa que 0,025 está em cada cauda da distribuição da estatística do seu teste. ”

Com um teste bicaudal, você está testando a significância estatística nas duas direções. No nosso caso, estamos testando a significância estatística nas duas direções.

Etapa 5

Definir um nível de significância limite (alfa)

(valor alfa): o limiar marginal no qual aceitamos rejeitar a hipótese nula. Um valor alfa pode ser qualquer valor definido entre 0 e 1. No entanto, o valor alfa mais comum na ciência é 0,05. Um alfa definido como 0,05 significa que estamos bem em rejeitar a hipótese nula, embora exista uma chance de 5% ou menos de que os resultados sejam devidos à aleatoriedade.

Valor P: a probabilidade calculada de chegar a esses dados aleatoriamente.

Se calcularmos um valor -p e sair para 0,03, podemos interpretar isso como dizendo: "Há uma chance de 3% de que os resultados que estou vendo sejam realmente devidos a aleatoriedade ou pura sorte".

Imagem de Learn.co

Nosso objetivo é calcular o valor de p e compará-lo ao nosso alfa. Quanto menor o alfa, mais rigoroso o teste.

Etapa 6

Executar amostragem

Aqui temos nosso conjunto de dados chamado soccer. Para o nosso teste, precisamos apenas de duas colunas em nosso conjunto de dados: team_def_aggr_rating e goals_allowed. Nós filtraremos essas duas colunas e criaremos dois subconjuntos para equipes com classificação de agressão defensiva maior ou igual a 65 e equipes com classificação de agressão defensiva abaixo de 65.

Apenas para recapitular nosso teste de hipótese:

Impacto da agressão de defesa na média de gols permitidos. Hipótese nula: Não há diferença estatística nos objetivos permitidos com equipes com uma classificação de agressão de defesa maior ou igual a 65 versus equipes abaixo de 65. Hipótese alternativa: Existe uma diferença estatística nos objetivos permitidos com equipes com uma classificação de agressão de defesa maior igual ou igual a 65 versus equipes abaixo de 65. Teste Alfa bicaudal: 0,05

Agora, temos duas listas de amostras nas quais podemos executar testes estatísticos. Antes dessa etapa, traçarei as duas distribuições para obter um visual.

Etapa 7

Realizar teste T de duas amostras

O teste t de duas amostras é usado para determinar se duas médias populacionais são iguais. Para isso, usaremos o módulo Python chamado statsmodels. Não entrarei em muitos detalhes sobre os modelos estatísticos, mas você pode ver a documentação aqui.

Etapa 8

Avalie e conclua

Lembre-se de que o alfa que definimos foi a = 0,05. Como podemos ver nos resultados de nossos testes, o valor de p é menor que nosso alfa. Podemos rejeitar nossa hipótese nula e, com 95% de confiança, aceitar nossa hipótese alternativa.

Obrigado pela leitura! Para mais detalhes sobre o teste de hipóteses, você pode conferir este projeto de grupo no GitHub em que participei do teste de hipóteses aqui.

Recursos:

Fornos, Matthew. “Estatísticas e o“ Método Científico ”Recuperado do YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Introdução ao SAS. UCLA: Grupo de Consultoria Estatística. from https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (acessado em maio 16, 2019).

Manual de Estatística de Engenharia. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm