OpenAI développe une nouvelle technologie de raisonnement révolutionnaire

OpenAI, dirigé par Sam Altman, travaille sur une nouvelle technologie de raisonnement pour ses grands modèles de langage ("LLM" aka large language model), sous le nom de code "Strawberry", a rapporté Reuters vendredi, citant des documents internes de l'entreprise et des personnes familières avec le sujet. Le fabricant de ChatGPT espère que Strawberry améliorera considérablement les capacités de raisonnement de ses modèles d'IA.

Selon ce rapport, Strawberry est un secret bien gardé, même au sein de l'entreprise. Il était auparavant connu sous le nom de Q* et était considéré comme une percée au sein de l'entreprise.

Cependant, OpenAI a montré des démonstrations de Q* à certains membres de son personnel, qui montrent que les LLM sont capables de répondre à des questions scientifiques et mathématiques sophistiquées qui sont actuellement hors de portée des modèles d'intelligence artificielles disponibles.

Le document décrit un projet utilisant les modèles Strawberry pour permettre à l'IA de l'entreprise non seulement de générer des réponses à des requêtes, mais aussi de planifier suffisamment à l'avance pour naviguer sur l'internet de manière autonome et fiable afin d'effectuer ce qu'OpenAI appelle une "recherche approfondie", selon la source.

Qu'est-ce que Strawberry ?

Strawberry serait une méthode spécialisée de traitement des modèles d'IA après leur pré-entraînement sur de très grands ensembles de données. Il s'agit notamment d'une méthode spécialisée de "post-entraînement" des modèles d'IA génératifs d'OpenAI ou de leur adaptation afin d'améliorer leurs performances de manière spécifique, même après qu'ils ont été "entraînés" sur des données généralisées.

OpenAI souhaiterait utiliser Strawberry pour effectuer des tâches à long terme ("LHT" aka long-horizon tasks), qui exigent d'un modèle d'IA qu'il planifie et exécute une série d'actions pendant une longue période de temps.

Plus précisément, OpenAI souhaite que ses modèles utilisent ces capacités pour mener des recherches en naviguant sur le web de manière autonome avec l'aide d'un "agent utilisateur de l'ordinateur" ("CUA" aka computer using agent) qui sera en mesure de prendre des mesures en fonction de ses découvertes.