Sur le papier, tout semble réussir à OpenAI, propulsé au rang de leader de l’intelligence artificielle générative après le lancement tonitruant de ChatGPT il y a près d’un an, qui lui permet d’enregistrer un bond spectaculaire de son chiffre d’affaires. En coulisses pourtant, la start-up américaine a enregistré au cours de l’été un revers majeur. Selon le site The Information, elle a en effet dû abandonner le développement d’un nouveau grand modèle de langage, devant alimenter son robot conversationnel. Baptisé Arrakis en interne, en référence à la planète désertique du roman Dune, celui-ci devait concrétiser une nouvelle orientation technologique, connue sous le nom de “parcimonie”. Et qui doit permettre de réduire les frais de fonctionnement, un enjeu majeur pour ne pas freiner l’adoption de l’IA générative.
Coûts d’inférence – OpenAI n’a jamais communiqué officiellement sur Arrakis. Les premières rumeurs sont apparues il y a quelques semaines sur le forum Reddit. Son entraînement aurait débuté fin 2022, potentiellement pour remplacer les modèles GPT, actuellement utilisés par ChatGPT. En juin, le patron de la société, Sam Altman, expliquait ainsi travailler sur des “idées nouvelles” avant de lancer le développement d’une nouvelle version de GPT. Avec Arrakis, il espérait réduire les coûts d’inférence, liés à la génération des réponses aux requêtes. Ces dépenses peuvent rapidement grimper à mesure que les services d’IA générative gagnent en popularité. L’outil d’aide à l’écriture de code informatique proposé par la plateforme Github, détenue par Microsoft, génère par exemple 20 dollars de pertes par mois et par abonné.
Parcimonie – Les coûts d’inférence représentent une menace sur le modèle économique des nouveaux outils alimenté par l’IA générative. Et donc un potentiel frein à la croissance d’OpenAI. Pour les réduire, la start-up misait sur le concept de “sparsity” – “parcimonie” en français. L’idée est de remplacer les grands modèles généralistes qui réclament beaucoup de puissance informatique par une panoplie de modèles dédiés à certaines tâches, plus petits et donc moins onéreux à utiliser. Cette approche est également suivie par Google et d’autres acteurs du secteur. Une fois entraîné, Arrakis aurait ainsi dû être capable de déterminer le sous-modèle le plus adapté pour chaque requête, tout en conservant des performances similaires à celles de GPT-4, le dernier grand modèle de langage conçu par OpenAI.
Une aubaine pour Google ? – La start-up américaine n’a cependant pas été satisfaite par les gains d’efficacité, préférant donc passer à autre chose. Elle a ainsi redirigé ses efforts vers une version “turbo” de GPT-4, capable de répondre plus rapidement. OpenAI continue aussi d’ajouter des fonctionnalités à ChatGPT, qui peut désormais reconnaître des images et comprendre des instructions audio. L’échec d’Arrakis n’aura pas d’impact à court terme sur son chiffre d’affaires, qui n’en finit plus de grimper – plus de 100 millions de dollars par mois, selon The Information. En revanche, le groupe comptait probablement sur son nouveau modèle pour réduire ses pertes. Surtout, cet échec pourrait ouvrir une porte à Google, dont le prochain modèle, baptisé Gemini, devrait, lui, intégrer le principe de “parcimonie”.
Pour aller plus loin:
– Les coûts de l’intelligence artificielle menacent de freiner son adoption
– ChatGPT fait perdre plus de 500 millions de dollars à OpenAI
