L'université de Californie a calculé que l'entraînement seul de l'IA pour GPT-3 a consommé 1 287 MWh qui ont émis 552 tonnes de CO2, soit plus de 205 vols aller-retour entre Paris et New York, ou la consommation moyenne d'un foyer américain pendant des centaines d'années (étude de Stanford AI).
Une étude du média Medium considère que l'empreinte carbone de ChatGPT est d'environ 23 kilos de CO2 par jour, soit plus de 8 tonnes par an, soit 12 ans de consommation de chauffage électrique pour une maison en France de 110 m², selon les données de l'Ademe.
L'apprentissage d'un seul modèle d'IA peut émettre autant de CO2 que cinq voitures sur toute leur durée de vie (étude de l'université du Massachusetts).
Par ailleurs, une nouvelle étude des universités de Riverside au Colorado et d'Arlington au Texas explique que l'entraînement de GPT-3 a consommé 700 mètres cubes d'eau. Plus encore, le fait de simplement poser 25 à 50 questions à ChatGPT nécessite un demi-litre d'eau, car l'évaporation d'eau est nécessaire pour refroidir les centres de données à une température convenable.
Source : optimease.eu
Les images réalistes générées par IA sont créées grâce à l'apprentissage profond, utilisant des réseaux de neurones composés de milliards de paramètres. Par exemple, le modèle Stable Diffusion, avec ses 8 milliards de paramètres, a coûté 600 000 dollars à entraîner.
Le processus de génération d'images fonctionne en deux étapes principales :
- D'abord, un modèle apprend à débruiter des images, en prenant une image altérée et en prédisant l'image d'origine (comme dans certains captchas). Ce modèle est ensuite utilisé pour transformer une image entièrement bruitée en une image claire. Ensuite, pour guider cette transformation, du texte descriptif est utilisé. Les légendes d'images trouvées sur Internet servent à entraîner le modèle pour qu'il associe les descriptions textuelles aux débruitages nécessaires. Ainsi, à partir d'un texte et d'une image de bruit total, le modèle élimine progressivement le bruit pour créer une image correspondant à la description.
( Source : Lire l'article intégral sur The Conversation)