Teoría da información

Este artigo contén varias ligazóns externas e/ou bibliografía ao fin da páxina, mais poucas ou ningunha referencia no corpo do texto. Por favor, mellora o artigo introducindo notas ao pé, citando as fontes. Podes ver exemplos de como se fai nestes artigos.

Este artigo ou sección precisa dunha revisión do formato que siga o libro de estilo da Galipedia. Pode axudar a mellorar este artigo e outros en condicións semellantes.

Este artigo ou sección precisa dunha revisión ortográfica e/ou de gramática (recurso útil: corrector ortográfico en liña de galego). Podes axudarte do revisor ortográfico, activándoo en: Preferencias → Trebellos → Navegación → Ortografía: Activar o revisor ortográfico. Colabora connosco neste artigo e noutros en condicións semellantes para que a Galipedia mellore e medre.

A teoría da información é unha rama da teoría da probabilidade e da matemática estatística relacionada cos sistemas de comunicación, transmisión de datos, criptografía, codificación, teoría do ruído, corrección de erros, compresión de datos... Non se debe confundir coa tecnoloxía da información.

Claude E. Shannon (1916-2001) é coñecido como "o pai da teoría da información". A súa teoría foi a primeira a considerar a comunicación como un problema matemático rigorosamente embasado na estatística e deu aos enxeñeiros da comunicación un modo de determinar a capacidade dunha canle de comunicación en termos de ocorrencia de bits. A teoría non se preocupa coa semántica dos dados, mais pode envolver aspectos relacionados coa perda de información na compresión e na transmisión de mensaxes con ruído na canle.

Acéptase, en xeral, que a moderna disciplina da teoría da información comezou coa publicación do artigo "The Mathematical Theory of Communication" por Claude E. Shannon no Bell Systen Technical Journal en xullo e outubro de 1948. No proceso de desenvolvemento dunha teoría da comunicación que puidese ser aplicada por enxeñeiros eléctricos para proxectar sistemas de telecomunicación mellores, Shannon definiu unha medida chamada de entropía, definida como: ${\displaystyle H=-\sum _{i}p_{i}*\log p_{i}}$ onde ${\displaystyle \log }$ é o logaritmo na base 2, que determina o grao de caoticidade da distribución de probabilidade ${\displaystyle p_{i}}$ e pode ser usada para determinar a capacidade do canle necesaria para transmitir a información.

A medida de entropía de Shannon pasou a considerarse como unha medida da información contida nunha mensaxe, en oposición á parte da mensaxe que está estritamente determinada (polo tanto prevísibel) por estruturas inherentes, como por exemplo a redundancia da estrutura das linguaxes ou das propiedades estatísticas dunha linguaxe, relacionadas ás frecuencias de ocorrencia de diferentes letras (monemas) ou de pares, tríos, (fonemas) etc., de palabras. Vexa cadea de Markov.

A entropía como definida por Shannon está intimamente relacionada á entropía definida por físicos. Boltzmann e Gibbs ficeran un traballo considerable sobre termodinámica estatística. Este traballo foi a inspiración para se adotar o termo entropía en teoría da información. Hai unha profunda relación entre entropía nos sentidos termodinámico e informacional. Por exemplo, o demo de Maxwell necesita informacións para reverter a entropía termodinámica e a obtención desas informacións equilibra exactamente a ganancia termodinámica que o demo alcanzaría doutro xeito.

Outras medidas de información útiles inclúen a información mutua, que é unha medida da correlación entre dous conxuntos de sucesos. A información mutua defínese por dous eventos X e Y como:

${\displaystyle I(X,Y)=H(X,Y)-H(X)-H(Y)}$

onde ${\displaystyle H(X,Y)}$ é a entropía conxunta (joint entropy) ou

${\displaystyle H(X,Y)=-\sum _{x,y}p(x,y)\log p(x,y)}$

A información mutua está relacionada de forma moi próxima con testes estatísticos como o teste de razón logarítmica e mais co teste Chi-cadrado.

A teoría da información de Shannon é apropiada para medir incerteza sobre un espazo desordenado. Unha medida alternativa de información foi criada por Fisher para medir incerteza sobre un espazo ordenado. Por exemplo, a información de Shannon é usada sobre un espazo de letras do alfabeto, xa que letras non teñen 'distancias' entre elas. Para información sobre valores de parámetros continuos, como as alturas de persoas, úsase a información de Fisher, xa que os tamaños estimados teñen unha distancia ben definida.

As diferenzas na información de Shannon corresponden a un caso especial da distancia de Kullback-Leibler da estatística Bayesiana, unha medida de distancia entre distribucións de probabilidade a priori e a posteriori.

Andrei Nikolaevich Kolmogorov introduciu unha medida de información baseada no menor algoritmo que pode computala (vexa complexidade de Kolmogorov).

Wikimedia Commons ten máis contidos multimedia na categoría:  Teoría da información

• "The Mathematical Theory of Communication", Claude Shannon Arquivado 15 de xullo de 1998 en Wayback Machine.
• Entropy on the World Wide Web
• Information Theory ResourcesArquivado 30 de agosto de 2005 en Wayback Machine.

Este artigo sobre matemáticas é, polo de agora, só un bosquexo. Traballa nel para axudar a contribuír a que a Galipedia mellore e medre.  Existen igualmente outros artigos relacionados con este tema nos que tamén podes contribuír.