Et elle a peut-être innové pour réaliser d'importantes économies d'énergie.

17 février 2021

Par Jonathan Woods

Dans ce petit centre de données sans charme particulier, tout est à l'unité. Il y a un serveur, une unité de refroidissement et une règle d'or : respecter les consignes thermiques. C'est dans ce contexte que TELUS a déployé un agent d'IA chargé de refroidir la pièce le plus efficacement possible, en lui laissant carte blanche pour trouver la solution.

Il s'agissait du premier test en conditions réelles du projet de système d'optimisation énergétique (SOE) de TELUS, un projet pilote où un agent d'apprentissage par renforcement prenait le contrôle d'un système physique réel afin d'apprendre par lui-même à le gérer de manière optimale. L'excitation était palpable. Deux mois auparavant, ce même agent avait démontré sa capacité à accroître l'efficacité énergétique de 2 % à 15 % dans un simulateur, notamment grâce à une série d'innovations ingénieuses.

EOS est né du projet d'apprentissage par renforcement basé sur un modèle (MBRL) de l'Institut Vector — l'initiative d'IA au service du bien commun menée par l'équipe d'innovation industrielle de Vector — et a été développé par TELUS pour s'aligner sur son objectif de durabilité visant à réduire son intensité énergétique de 50 % entre 2020 et 2030.

« L’apprentissage par renforcement est l’une des trois principales catégories d’IA. Les deux autres sont l’apprentissage supervisé et l’apprentissage non supervisé », explique le Dr Vincent Zha, scientifique principal des données au sein de l’équipe d’analyse avancée et d’IA de TELUS. « Mais l’apprentissage par renforcement est un peu différent. Il nécessite moins de données d'entrée, et on n'apprend rien avant la fin du processus. »

Contrairement à l'apprentissage supervisé et non supervisé, un modèle d'apprentissage par renforcement n'est pas initialement entraîné sur des données pour apprendre à faire des prédictions précises. Il part d'un objectif, puis interagit avec un environnement, apprenant des conséquences de ses actions et itérant jusqu'à l'optimisation. « L'apprentissage par renforcement consiste à agir, et pas seulement à prédire », explique Amir-Massoud Farahmand, membre du corps professoral de Vector, qui, avec Romina Abachi, chercheuse chez Vector, a encadré les participants au projet MBRL. « C'est pourquoi l'apprentissage par renforcement sera très utile pour les applications industrielles », ajoute Farahmand.

Une autre raison pour laquelle l'apprentissage par renforcement est particulièrement adapté aux systèmes réels est sa capacité à tenir compte des effets à long terme des décisions. Face à une situation donnée, un agent d'apprentissage par renforcement prédit les impacts immédiats des actions potentielles, ainsi que leurs effets futurs. Cela lui permet de s'adapter à l'état actuel du système tout en restant sur la bonne voie pour atteindre son objectif final de manière optimale. Ces caractéristiques – l'orientation vers un but et la capacité d'anticiper l'avenir – expliquent pourquoi l'équipe a choisi l'apprentissage par renforcement pour ce projet pilote.

Avant de tester l'agent d'apprentissage par renforcement sur des systèmes réels, l'équipe l'a exécuté sur un simulateur. Lors de ce test, l'agent contrôlait le système de chauffage, de ventilation et de climatisation (CVC), qui dispose de deux méthodes de refroidissement : un compresseur d'air relativement énergivore et une fonction de « refroidissement naturel » moins coûteuse, consistant à insuffler de l'air extérieur dans la pièce. L'agent recevait aussi les prévisions météo du jour et une mise à jour minute par minute de la température ambiante. Après chaque mise à jour, l'agent décidait d'utiliser le compresseur d'air, le refroidissement naturel, ou de ne rien faire. Il a ensuite recalculé son plan d'action pour le reste de la journée, en intégrant les nouveaux apprentissages réalisés.

Les résultats ont stupéfié l'équipe, non seulement par la réduction de 2 à 15 % de la consommation d'énergie obtenue grâce à l'agent, mais aussi par les nombreuses innovations qu'il avait mises au point pour y parvenir. Deux de ces innovations se sont particulièrement distinguées.

Dans un premier temps, l'agent a adopté une approche passive, laissant la température de la pièce monter jusqu'à la limite supérieure avant de la stabiliser. Normalement, le programme du système de climatisation réduisait la température de quatre degrés dès qu'elle approchait cette limite. Cela offrait une marge suffisante pour absorber les variations de température extérieure susceptibles d'affecter les conditions au sein du centre de données. L'agent a constaté qu'il était plus efficace de laisser la température monter graduellement jusqu'au seuil tout au long de la matinée, puis de la gérer dynamiquement à l'aide de brèves impulsions de compression d'air et de refroidissement naturel, selon les besoins. La logique est simple : pourquoi gaspiller de l'énergie en abaissant la température plus que nécessaire ? Tant que la température reste en dessous de la limite supérieure, que ce soit de 4 °C ou de 1 °C, l'agent fonctionne correctement.

Une deuxième approche, qualifiée de « véritable innovation » par l'agent, a consisté, selon Zha, à mettre en œuvre une solution de refroidissement gratuit vers cinq heures du matin, au moment où la température extérieure atteignait son minimum. Ce système a fonctionné sans interruption jusqu'en milieu d'après-midi. L'idée a paru déconcertante au premier abord. Le refroidissement gratuit n'est pas coûteux, certes, mais il n'est pas non plus sans frais. Pourquoi dépenser de l'énergie alors que la pièce était déjà à la température la plus basse ?

La réponse se trouvait dans les prévisions météorologiques. Zha explique : « L’agent constate dans les prévisions que les températures de l’après-midi seront très élevées. Il en déduit que c'est le moment idéal pour augmenter le refroidissement gratuit afin de retarder l'utilisation du compresseur, car celui-ci est très coûteux. »

L'agent fait un compromis. « C'est comme un bon joueur d'échecs », explique Zha. « Un bon joueur d'échecs fait parfois des sacrifices immédiats, mais peut en gagner plus vingt coups plus tard. Il faut sacrifier un peu maintenant pour éviter un coût important à l'avenir. » L'équipe n'avait pas imaginé que l'agent découvrirait cette méthode. La programmation standard du système de chauffage, de ventilation et de climatisation ne tenait pas compte des prévisions météorologiques spécifiques à chaque jour. Elle ne pouvait pas. Mais l'agent, lui, avait trouvé la solution.

« C'est la marque distinctive de l'apprentissage par renforcement », déclare Zha.

Deux mois plus tard, l'équipe de TELUS se retrouve à tester l'agent sur un système CVC réel dans cette petite pièce sans charme particulier, et constate la validation des résultats simulés. Prochaine étape : étendre les tests à des sites plus grands et plus complexes avant le déploiement final dans toutes les salles de données de TELUS.

Ce projet pilote a permis à TELUS de développer de nouvelles capacités et d'ouvrir de nouvelles perspectives. La mise en œuvre d'un projet pilote d'apprentissage par renforcement sur des systèmes physiques réels a démontré qu'un large éventail de professionnels, techniques et non techniques, au sein de TELUS pouvaient collaborer à la réalisation d'un projet d'IA sophistiqué.

« Dès lors qu'on a dû intervenir sur les systèmes physiques, il nous a fallu non seulement maîtriser la théorie de l'apprentissage par renforcement et développer l'algorithme, mais aussi composer avec les différents intervenants et propriétaires du réseau pour obtenir l'accès à la salle », explique Ivey Chiu, scientifique de données senior en analytique avancée et intelligence artificielle. Le projet a nécessité une étroite collaboration avec Dominic Dupuis, gestionnaire de la stratégie technologique des environnements critiques chez TELUS, Jonah Braverman, ingénieur en gestion de l'énergie, et Alexandre Guilbault, directeur de l'analytique et de l'intelligence artificielle, ainsi qu'avec les intervenants des opérations réseau, des opérations immobilières et du Bureau des données et de la confiance. Tous ont dû comprendre le projet, apporter leur expertise et l'approuver.

« Il s’agissait d’établir un climat de confiance et de faire preuve d’une grande transparence quant à nos intentions », explique Chiu. Il souligne également que cette approche transversale et l’accent mis sur la confiance et la transparence témoignent de l’engagement de TELUS envers une IA responsable, qui guide ses efforts pour accroître les capacités technologiques au bénéfice de la société.

De plus, ces efforts ont permis à l'équipe d'analyse avancée et d'IA de TELUS d'effectuer une recherche originale. « Normalement, on utilise des algorithmes existants pour améliorer nos activités. Ici, nous avons inventé un nouvel algorithme pour résoudre le problème », explique Zha. Grâce à la pénétration des voisins dans l'hyperespace, une amélioration apportée par l'équipe de TELUS aux algorithmes classiques, l'agent a pu apprendre minute par minute. Cette innovation a permis à l'agent de prendre en compte des variables évoluant lentement, comme l'augmentation graduelle de la température ambiante. L'article de recherche de Zha sur cet algorithme est actuellement en cours d'évaluation par les professeurs de Vector.

Les premiers résultats prometteurs ont également suscité un vif intérêt pour l'application de cet agent à d'autres systèmes concrets de TELUS – des stations de base de tours de téléphonie mobile à l'agriculture – où la température est un facteur clé de performance et où les gains d'efficacité énergétique peuvent se traduire par une durabilité accrue et des économies à grande échelle. Jaime Tatis, vice-président de la stratégie et de l'exploitation des données, déclare : « Nous avons hâte de voir la suite et de découvrir quels autres problèmes nous pourrons résoudre grâce à l'apprentissage par renforcement, maintenant que nous avons pu démontrer la faisabilité de ce concept. »

Finalement, il y a la profonde satisfaction qui découle de la réalisation d'un objectif technique ambitieux. « Au bout du compte, on ressent un sentiment d'accomplissement, celui d'avoir mené à bien un projet difficile, tant sur le plan de la recherche que sur celui de l'industrie », explique Chiu. « Cela a vraiment démontré que TELUS est ouverte à l'innovation responsable et au travail d'équipe. »