Deterministic and Heuristic Criteria for Optimized Markov Chain Aggregation
Critères Déterministes et Heuristiques pour l'Agrégation Optimisée de Chaînes de Markov
Résumé
Markov chains are an important means of representing stochastic systems, but their state space can become too large to be practical. Markov model lumping is a well-known process for reducing the state space and simplifying interpretation, as well as accelerating the computationally expensive large Markov chain resolution. This paper investigates new Markov chain aggregation algorithms defined by deterministic (mathematically proven) and heuristic criteria using the Kullback-Leibler metric to compare Markov chains based on their respective steady states and the Mean First Passage Time property to optimize the state aggregation process. The objective is to strike a balance between the two conflicting objectives: (i) to minimize the size of the aggregation and (ii) to keep the aggregation as close as possible to the original Markov chain. A set of experiments has been conducted to perform illustrative comparisons that demonstrate the advantages gained from the proposed state-space reduction algorithms.
**Les chaînes de Markov constituent un moyen important de représenter les systèmes stochastiques, mais leur espace d'états peut devenir trop grand pour être exploitable en pratique. La réduction des modèles de Markov, également appelée "lumping", est un processus bien connu permettant de réduire l'espace d'états, de simplifier l'interprétation et d'accélérer la résolution des grandes chaînes de Markov, souvent coûteuse en calcul. Cet article explore de nouveaux algorithmes d'agrégation de chaînes de Markov définis par des critères déterministes (prouvés mathématiquement) et heuristiques. Ces algorithmes utilisent la métrique de Kullback-Leibler pour comparer les chaînes de Markov en fonction de leurs états stationnaires respectifs, ainsi que la propriété du temps moyen de premier passage (Mean First Passage Time) afin d'optimiser le processus d'agrégation des états. L'objectif est de trouver un équilibre entre deux objectifs contradictoires : (i) minimiser la taille de l'agrégation et (ii) maintenir l'agrégation aussi proche que possible de la chaîne de Markov d'origine. Une série d'expériences a été réalisée pour effectuer des comparaisons illustratives, démontrant les avantages des algorithmes de réduction de l'espace d'états proposés.**
Origine | Fichiers produits par l'(les) auteur(s) |
---|