Year: 2024
Type: preprint
Abstract: L'évolution rapide des systèmes d'intelligence artificielle (IA) souligne la nécessité d'approches efficaces pour gérer la croissance exponentielle du volume de données et la complexité des modèles. Le calcul distribué et la parallélisation émergent comme des solutions clés, permettant une analyse et un traitement des données accélérés, ainsi qu'une amélioration de la vitesse d'entraînement et d'inférence des modèles d'IA. Ce document explore les principes, les architectures, et les avantages de ces approches, en mettant l'accent sur les techniques telles que le parallélisme des données et des modèles, les mécanismes de synchronisation, les systèmes de gestion de cluster, et l'exploitation des GPU et des accélérateurs. À travers cette analyse, nous démontrons comment le calcul distribué et la parallélisation peuvent surmonter les défis de scalabilité, favorisant ainsi l'avancement et l'efficacité des systèmes d'IA modernes.
Source: HAL
Author: Krichen, Moez
Language: French
Subfield: Hardware and Architecture
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W4391767343
