Dispersão: variância e desvio padrão

Duas colunas podem ter a mesma mean e ainda assim parecer completamente diferentes. Para distingui-las, meça a dispersão, ou seja, o quanto os valores se espalham. 📏

A dispersão começa com a distância de cada ponto em relação à média, o seu desvio. Desvios pequenos indicam dados concentrados; desvios grandes indicam dados espalhados.

Desvios positivos e negativos se cancelariam, resultando em zero. Por isso, primeiro elevamos cada um ao quadrado, transformando toda diferença em uma contribuição positiva.

A variância é a média desses desvios elevados ao quadrado. Uma variância maior significa que, em média, os valores se afastam mais da mean.

Elevar ao quadrado também altera as unidades. A variância de preços em reais resulta em reais ao quadrado, algo impossível de interpretar rapidamente.

Extraia a raiz quadrada da variância e você obterá o desvio padrão. Ele usa as mesmas unidades dos seus dados, tornando o resultado compreensível.

O desvio padrão é aproximadamente a distância típica de um ponto em relação à mean. Um std pequeno indica valores consistentes; um grande indica variabilidade.

Para dados aproximadamente distribuídos em forma de sino, cerca de 68 por cento dos valores ficam a até um desvio padrão da mean. É uma verificação rápida da amplitude.

Por padrão, o pandas divide por n menos um, usando a versão de amostra. Esse pequeno ajuste corrige o viés quando seus dados são apenas uma amostra de um grupo maior.

O desvio padrão permite comparar a consistência de forma justa. O produto com o menor std no tempo de entrega é o mais confiável.

Você não precisa escolher entre eles manualmente. O resultado de describe já inclui std para cada coluna numérica disponível.

Você quer uma medida de dispersão que use as mesmas unidades dos dados originais.

Você aprendeu que a variância calcula a média das distâncias ao quadrado e que o desvio padrão as traz de volta às unidades reais. Juntos, eles revelam quanto seus dados variam. 🌟