Proceso de Márkov

En la teoría de la probabilidad y en estadística, un proceso de Márkov, llamado así por el matemático ruso Andréi Márkov, es un fenómeno aleatorio dependiente del tiempo para el cual se cumple una propiedad específica: la propiedad de Márkov. En una descripción común, un proceso estocástico con la propiedad de Márkov, o sin memoria, es uno para el cual la probabilidad condicional sobre el estado presente, futuro y pasado del sistema son independientes.^[1]​ Los procesos de Márkov surgen en probabilidad y en estadística en una de dos maneras:

1. Un proceso estocástico, que se define a través de un argumento separado, puede demostrarse (matemáticamente) que tiene la propiedad de Márkov y como consecuencia tiene las propiedades que se pueden deducir de esta para todos los procesos de Márkov.
2. De más importancia práctica es el uso de la suposición que la propiedad de Márkov es válida para un proceso aleatorio con el fin de construir, ab initio, un modelo estocástico para este proceso. En términos de modelado, suponer que la propiedad de Márkov es válida es una de un limitado número de formas sencillas de introducir dependencia estadística en un modelo para un proceso estocástico, de tal manera que permita que la fuerza de la dependencia en los diferentes retardos decline a medida que el retardo aumenta.

Frecuentemente el término cadena de Márkov se usa para dar a entender que un proceso de Márkov tiene un espacio de estados discreto (infinito o numerable). Usualmente una cadena de Márkov sería definida para un conjunto discreto de tiempos (es decir, una cadena de Márkov de tiempo discreto),^[2]​ aunque algunos autores usan la misma terminología donde "tiempo" puede tomar valores continuos.^[3]​

Podemos hablar de diferentes definiciones referentes a los procesos de Márkov de primer orden:

• Estados: Las condiciones en las cuales se encuentra un ente o sucesos posibles.
• Ensayos: Las ocurrencias repetidas de un evento que se estudia.
• Probabilidad de Transición: La probabilidad de pasar de un estado actual al siguiente en un período o tiempo, y se denota por ${\displaystyle p_{i}j}$ (la probabilidad de pasar del estado i al estado j en una transición o período)

Los procesos de Márkov de Primer Orden, para poder ser usados como modelos de procesos físicos o económicos, deben tener una serie de características:

• Que la probabilidad cumpla con el Principio de Márkov.
• Existencia de un número finito de estados.
• Las ${\displaystyle p_{i}j}$ deben ser constantes con respecto al tiempo o período.
• Los ensayos deben ser en períodos iguales.

Se utilizan para describir la manera en que el sistema cambia de un período al siguiente.

Esta matriz se puede calcular de formas distintas, entre ellas están el método directo, calculando la matriz diagonal, o calculando analítica o gráficamente a partir de la ecuación de estado.

Un ejemplo típico de proceso de Markov en física es el movimiento browniano. El movimiento browniano muestra cómo la naturaleza discreta de la materia en la escala microscópica se manifiesta a nivel macroscópico.

Para ciertos tipos de procesos estocásticos es simple formular la condición que especifica que la propiedad de Márkov es válida, mientras que para otros se requiere una matemática más sofisticada como se describe en el artículo propiedad de Márkov.

• Camino aleatorio
• Movimiento browniano
• Cadena de Márkov
• Proceso de Feller
• Proceso de decisión de Márkov

• http://www.ugr.es/~jtorres/leccion3.pdf
• https://web.archive.org/web/20160909161037/http://www.enj.org/wiki/images/2/28/Procesos_Markov.pdf
• http://www.unet.edu.ve/~jlrodriguezp/mattrans.pdf