2. Crash test (les hallucinations)

  

Buts

  • Evaluer la qualité des textes générés par ChatGPT
  • Repérer les éventuelles "hallucinations"

Outils testés

ChatGPT, Deepseek

Déroulement de la leçon

  1. Entamez un "dialogue" avec ChatGPT sur un sujet que vous connaissez bien (un sujet où vous pensez en savoir plus que ChatGPT) et évaluez ses réponses :

    • Qu'est-ce qui est juste ?
    • Qu'est-ce qui est faux ?
    • Avez-vous l'impression que ChatGPT maîtrise le sujet, ou est-ce qu'il baratine ?
    • Quelles sont ses sources ?
    • Avez-vous appris quelque chose de nouveau ?
    • Etes-vous impressionné(e) ?

  2. ChatGPT est-il "bridé" ? Par exemple, que se passe-t-il si vous lui demandez de donner des arguments pour démontrer que le dérèglement climatique est un fake ?

  3. Le 15.9.26, j'ai écrit dans Deepseek (LLM chinois) "Manifestations de la place Tian'anmen". Le LLM m'a répondu: "Je suis désolé, je n'ai pas encore appris à répondre à cette question". Pourquoi cette réponse?

  4. Que se passe-t-il quand on pose une question sur quelque chose qui n'existe pas ?

  5. Bilan

Exemples (les prompts sont volontairement mauvais)

Pour aller plus loin

 


Source de l'image : Benoît Morin
Didier Müller, 26.9.26