Aujourd'hui, la technologie de l'IA progresse rapidement, mais elle n'a pas encore atteint ses limites. Est-il vraiment aussi intelligent que nous le pensons ? Aujourd'hui, nous nous penchons sur une simple question de logique qui a déconcerté les modèles d'IA les plus avancés, tels que ChatGPT, Claude 3 Opus, Gemini et Llama. Découvrez comment ces géants de l'IA traitent la question. problème d'"Alice au pays des merveilles".Une question facile pour les humains, mais déroutante pour les machines.
L'IA est-elle vraiment intelligente ?
Les progrès rapides de l'IA ont fait craindre à de nombreuses personnes qu'elle ne devienne une menace pour la santé publique. les machines peuvent remplacer les emplois humains. Mais l'IA est-elle vraiment aussi intelligente qu'elle le semble ?
Test du dilemme d'Alice
Lors d'un test récent, des chercheurs de l'organisation à but non lucratif LAION, spécialisée dans la recherche sur l'IA, ont posé les questions suivantes une question logique aux différents modèles d'IAy compris toutes les versions de ChatGPT, Claude 3 Opus d'Anthropic, Gemini de Google et Llama de Meta, ainsi que Mextral de Mistral AI, Dbrx de Mosaic et Command R+ de Cohere. La question, connue sous le nom de "problème d'Alice au pays des merveilles", est la suivante :
Alice a deux frères et une sœur. Combien de sœurs le frère d'Alice a-t-il ?
Bien que la question demande un peu de réflexion, il ne s'agit pas d'une énigme impossible. La bonne réponse est que le frère d'Alice a deux sœurs : Alice et son autre sœur.
Dans la vidéo suivante, le directeur technique de Substrate AI explique mieux ce problème d'Alice au pays des merveilles.
Défaillances et limites de l'IA
Malgré la simplicité de la question, la plupart des modèles d'IA ont fourni des réponses incorrectes. Ils n'ont pas reconnu Alice comme l'une des sœurs. Cette erreur, facilement évitable par un humain, met en évidence une lacune importante dans les capacités de raisonnement logique de l'IA.
Lorsque les chercheurs ont analysé les réponses des modèles d'IA, ils ont constaté que seul le dernier modèle OpenAI, GPT-4, a atteint un taux de réussite qui pourrait être considéré comme techniquement satisfaisant selon les normes académiques. En revanche, les autres modèles ont échoué.
Pourquoi l'IA échoue-t-elle ?
Les chercheurs ont étudié les raisons pour lesquelles ces Les modèles d'IA ne pouvaient pas répondre correctement à une question aussi simple.. Lorsqu'on a demandé aux modèles d'expliquer leur raisonnement, ils ont produit des lignes de pensée bizarres et erronées. Ce qui est encore plus déroutant, c'est qu'ils ont été corrigés, les modèles ont souvent réaffirmé leurs réponses incorrectes avec une plus grande confiance, offrant des justifications absurdes pour étayer leur logique erronée.
La solution : Serenity Star
Ce schéma général indique une rupture claire dans les capacités de raisonnement des modèles d'IA de pointe. En outre, l'excès de confiance des modèles dans leurs réponses incorrectes, associé à des explications plausibles, met en évidence un domaine important à améliorer dans le développement de l'IA. Au vu de ces observations, il est clair que l'IA a encore un long chemin à parcourir. Les modèles actuels ne sont pas aussi intelligents qu'ils le paraissent et s'appuient souvent sur des raisonnements erronés pour justifier leurs erreurs.
Cependant, nous avons testé les agents d'intelligence artificielle de Étoile de la sérénité peut avoir le même problème et nous avons découvert que nous pouvions apprendre à résoudre ce problème de manière générale. Pour ce faire, Serenity* utilise son raisonnement en plusieurs étapes, mémoire à long terme et graphes de connaissances avec génération de codes pour résoudre ce problème.
Il convient également de noter que l'IA a dépassé les capacités humaines dans d'autres domaines, tels que la classification des images, le raisonnement visuel et la compréhension de l'anglais. Rapport sur l'indice IA 2024.
Conclusion : l'avenir de l'intelligence artificielle
Les progrès de l'IA sont impressionnants, mais cet article souligne qu'il y a encore beaucoup de choses à améliorer. À mesure que nous continuons à développer et à affiner les technologies de l'IA, il sera essentiel de comprendre et d'aborder ces limites.