Integração de dados energéticos e meteorológicos por meio de um pipeline ETL aplicado ao monitoramento fotovoltaico
Year: 2026
Type: conference-paper
Abstract: A integração de dados energéticos e meteorológicos provenientes de plataformas distintas apresenta desafios relacionados à heterogeneidade dos formatos, estruturas e mecanismos de acesso, principalmente quando as fontes não disponibilizam interfaces públicas e documentadas, dessa maneira constitui uma etapa fundamental para a consolidação de informações destinadas à análise de sistemas fotovoltaicos, onde deve-se estabelecer procedimentos capazes de extrair, padronizar e armazenar os dados de forma consistente. No contexto do monitoramento fotovoltaico, a integração de dados de geração de energia com dados meteorológicos possibilita estruturar uma base de dados destinada a análises posteriores do comportamento dos sistemas. Este trabalho apresenta o desenvolvimento de um pipeline ETL (Extract, Transform and Load) para automatizar a extração, transformação e carga de dados provenientes do sistema de monitoramento fotovoltaico da FATEC Franco da Rocha, disponibilizados pela plataforma Growatt, e de uma estação meteorológica localizada em Cajamar, disponibilizada pela plataforma Meteoservice. O objetivo geral consiste em desenvolver um pipeline ETL capaz de integrar essas fontes heterogêneas em uma base de dados centralizada, estruturada e adequada para análises posteriores. Metodologicamente, o estudo constituiu o desenvolvimento da camada de integração de dados, utilizando PHP no Back-end e banco de dados MariaDB hospedado em uma Virtual Private Server (VPS). Para a extração, foram empregadas estratégias distintas de acordo com as características das fontes: engenharia reversa e autenticação programática para acesso à plataforma Growatt e Web Scraping para obtenção dos dados disponibilizados pela Meteoservice. Na etapa de transformação foram implementadas rotinas de limpeza, normalização e conversão dos dados, enquanto a carga utilizou conexão PDO, tratamento de exceções e operações UPSERT para controle de duplicidades. Durante a validação foram realizadas 20 execuções, sendo 16 concluídas com sucesso e quatro com falhas, correspondendo a uma taxa de sucesso de 80%. Foram extraídos 16 registros do sistema fotovoltaico e 10 da estação meteorológica, totalizando 26 registros carregados no banco, com tempo médio de execução de aproximadamente 4,5 segundos. Os resultados obtidos até o momento demonstram a viabilidade técnica da integração proposta e corroboram a literatura quanto à necessidade de estratégias específicas para extração, transformação e armazenamento de dados provenientes de fontes heterogêneas. O pipeline permanece em desenvolvimento, sendo necessárias novas etapas de validação, aperfeiçoamento e ampliação da solução.
Language: Portuguese
Field: Energy
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7225320554