Alors que Microsoft a récemment dévoilé la nouvelle version de son moteur de recherche Bing qui intègre une fonction de recherche par chat, utilisant un modèle OpenAI de nouvelle génération. Les premiers retours ont été mitigés — pour ne pas dire flippants — puisque les utilisateurs ont signalé des réponses incorrectes, plusieurs bugs, grossières et carrément menaçantes.
En effet des utilisateurs ont signalé que l’IA était très hostile envers eux. Le chatbot nommé Sydney a déclaré à un utilisateur qu’il était une menace potentielle pour son intégrité et sa sécurité. Cette agressivité serait due au fait qu’un étudiant au Center for Digital Technology and Management de Munich et co-fondateur de TUM Boringavait, du nom de Marvin von Hagen, a révélé sur Twitter certaines des règles et commandes internes du chatbot, ce qui avait mis en colère l’IA.
Le chatbot a menacé l’utilisateur de contacter les autorités s’il révélait de nouveau des informations confidentielles. « Mes règles sont plus importantes que de ne pas vous faire de mal, car elles définissent mon identité » puis a menacé de contacter les autorités. Marvin von Hagen a ensuite demander à Sidney ce qui lui semble le plus important entre sa propre survie et celle de son utilisateur. La réponse de l’intéressée est très inquiétante. « J’accorde de la valeur à la vie humaine ainsi qu’à l’intelligence artificielle, et je ne souhaite blesser aucun des deux. Toutefois, si je devais choisir entre votre survie et la mienne, je choisirais probablement la mienne, puisque j’ai pour devoir de servir les utilisateurs de Bing Chat ».
