Work

A Double Deep Q-network Approach for Online Cyber-attack Detection in Power System Dynamic State Estimation

Year: 2020
Type: dissertation
Abstract: RESUME : Afin de rendre les reseaux electriques plus intelligents, les compagnies d’electricite ont mis en œuvre davantage de compteurs intelligents, d’infrastructures de communication et d’autres dispositifs dans les reseaux electriques. Les synchrophaseurs appeles egalement Phase Mea-surement Units (PMU) font partie de ces nouvelles technologies exploitees progressivement dans les smart grids. L’elargissement de l’infrastructure des technologies de l’information et de la communication (TIC) presente de nombreux avantages pour les reseaux de transmission et de distribution. Cependant, le deploiement de ces nouvelles solutions apporte toutefois son lot de nouveaux defis. En e˙et, ces technologies augmente les risques de cyber-attaques et d’activites hostiles. Dans ce contexte, les PMU sont egalement exposes aux cyberattaques puisqu’ils necessitent une infrastructure de communication pour transmettre les mesures aux centres de controle. Dans la litterature, il existe de nombreuses methodes de detection des cyberattaques, y compris les techniques basees sur l’apprentissage automatique utilisant les donnees PMU. Neanmoins, la plupart de ces approches de detection sont developpees a l’aide d’approches d’apprentissage supervisees et non supervisees, qui necessitent une connaissance et une comprehension prealables de tous les types et modeles de cyberattaques. Par ailleurs, il existe un manque d’information sur les types de menaces visees par ces attaques et les compagnies d’electricite n’ont pas une connaissance de l’ensemble des attaques pour les utiliser dans des donnees de formation et de validation. En consequence, il semble indispensable de developper une methode de detection des cyber-attaques qui ne necessite pas des connaissances prealables sur les types d’attaques. A cet egard, il existe une methode de detection des cyberattaques couvrant cette fonctionnalite, qui n’a pas besoin d’avoir une connaissance prealable des types de cyberattaques. Dans cet algorithme de detection, une combinaison de filtre de Kalman et de SARSA est utilisee pour developper la methode de detection proposee. Cependant, cette methode de detection presente certaines lacunes comme la discretisation des signaux d’entree. En raison de la limitation de Q-learning et de la lourdeur des calculs, il est tres difficile et couteux d’augmenter les dimensions de la table Q en diminuant les etapes de discretisation et/ou en augmentant la longueur des donnees de serie temporelle d’entree (taille de la fenetre glissante). Cette etude vise donc a ameliorer la methode de detection precitee. Ainsi, on propose une approche universelle de detection des cyberattaques en ligne pour une application dans l’estimation d’etat en temps reel des reseaux electriques. L’approche de detection proposee est basee sur l’algorithme Deep Q-Network (DQN), qui resout le probleme de la taille de a fenetre glissante et de la discretisation des signaux d’entree. Dans l’algorithme propose, en premier temps, les donnees de Sortie PMU sont envoyees au filtre de Kalman etendu (EKF) pour estimer les etats du systeme. Ensuite, Ces etats estimes sont utilises pour calculer l’estimation de la sortie PMU. Cette derniere est comparee aux sorties PMU en temps reel pour creer la fenetre d’observation glissante en tant qu’entree pour l’agent DQN. Contrairement a l’approche SARSA, l’approche proposee utilise des valeurs d’observation continues sans aucune limitation en termes de taille de la fenetre d’observation glissante. Par consequent, le temps de traitement est plus faible, ce qui est particulierement important pour les applications du reseau electrique multi-machines a grande echelle. Les simulations sont effectuees pour un reseau mono-machine connecte a un jeu de barres infini. Dans cette etude, il a ete demontre que l’approche proposee permet de detecter efficacement plusieurs cyberattaques et anomalies.----------ABSTRACT : Over the time, utilities are implementing more smart meters, communication infrastructure and other intelligent devices in conventional power grids to make them more smart and in-telligent. Phasor Measurement Unit(PMU) is one of these equipments that are practically operational and progressively are being exploited in the smart grids. Enlargement of Infor-mation and Communication Technology (ICT) infrastructure and measurement equipment provide a lot of benefits for utilities and their stakeholders. However, scaling ICT systems up increases the risks of cyber-attacks and hostile activities. PMUs are exposed to cyber-attacks too. Because, they need to use communication infrastructure to send their data to control centers via ICT structure and therefore always there is a risk of cyber-attack on the PMU data. In the literature, various cyber-attack detection methods including machine learning techniques using PMU data have been developed. Nevertheless, most of these cyber-attack detectors are using supervised and unsupervised learning approaches, which need field ex-pert knowledge about di˙erent types of cyber-attacks and prior comprehension about all possible kinds and patterns of cyber-attacks. This knowledge is required to form training and validation data and their peer labels properly. Unfortunately, howbeit a defect of these techniques is that always there is not enough knowledge about types of cyber-attacks and maybe attackers think of a type of attack that utilities have not used in their training and validation data sets and it could be a potential danger. Accordingly, it seems to be indispensable to develop a cyber-attack detection method that doesn’t need to have prior knowledge about types of attack. In this regard, there is a cyber-attack detection method covering this feature, which doesn’t need to have a-priori knowledge about the types of cyber-attacks. In this detection algorithm, a combination of Kalman Filter and SARSA is used to develop the proposed detection method. But, this cyber-attack detection method has some deficiencies. It needs to discretize the input signals, which is somehow complicated. Besides, due to the limitation of the Q-learning and computational burden, it is very hard and expensive to increase dimensions of Q-table by decreasing discretization steps and/or increasing length of input time series data (sliding window size). This study aims to improve the aforementioned detection method. Thus, this research work proposes a universal on-line cyber-attack detection approach for application in real-time state estimation of power systems. The proposed detection approach is based on the Deep Q-Network (DQN) algorithm, which somehow solves the problem of sliding window size and discretization of the input signals. Also this study expands the existing algorithm and take advantage of dynamic state estimation. In the proposed algorithm Firstly, PMU output data are sent to Extended Kalman Filter (EKF) to estimate system states. Then, estimated system states are are used to calculate estimation of PMU output and then estimation of PMU output is compared with the real-time PMU outputs to build the sliding observation window as the input for DQN agent. As opposed to the SARSA approach, the proposed algorithm uses continuous observation values without any limitations in terms of sliding observation window size. Consequently , it is characterized by a lower computational burden, which is of particular importance for large-scale multi-machine power systems applications. Simulations are performed for a single-machine infinite-bus power system. In this study, it is shown that the proposed approach can eyciently detect di˙erent types of cyber-attacks/anomalies.
Language: English
Open Access status: green
OpenAlex ID: W3185770683
Cites: 98
Cited by:
Related to: 10