Aller au contenu

Vérifier un script à l'aide de règles lisibles

Une évaluation, c'est une liste de règles écrites avant que quiconque regarde la réponse. Choisissez un sujet, lisez ses règles, puis voyez comment s'en tirent deux brouillons. Modifiez un brouillon et relancez les vérifications.

  • S'exécute dans votre navigateur
  • Aucun modèle, aucune clé
  • Votre brouillon n'est envoyé nulle part

1. Choisir un sujet

Les sujets, les sources et les questions destinées à un modèle sont le texte même du jeu de test, rédigé en anglais.

Écrit pour
developers new to AI
Difficulté à bien l'écrire
Facile
Ce que vous apprenez
A loop that asks a model to improve its own work has no natural end. You learn to give it two exits: a quality threshold and a hard cap on rounds.

Approuvé par Hassan Mansour comme cas de test

Les sources qu'un script peut citer

  • [S1]Revision loops. A writer and critic loop repeats until the critic's score reaches a threshold. If the score never reaches it, the loop runs until something else stops it.
  • [S2]Revision caps. A maximum number of revisions ends the loop even when the threshold is never met. The last draft is kept and marked as not meeting the bar.
  • [S3]Recursion limits. Graph frameworks such as LangGraph stop a run that exceeds a configured number of steps, called the recursion limit. It is a backstop, not the main exit.

Sources de démonstration rédigées pour ce jeu de test. Ce ne sont pas des citations de publications.

2. Deux brouillons, les mêmes règles

Chaque brouillon part du travail d'un faux rédacteur : un court programme, pas un modèle. L'un est rigoureux, l'autre négligent, exprès. Modifiez l'un ou l'autre, ou collez votre propre texte.

Brouillon A

Brouillon B

Un script a un titre, une accroche, un corps et un appel à l'action, séparés par une ligne vide. Citez une source ainsi : [S1]. Les vérifications sont conçues pour des scripts en anglais : un brouillon rédigé en français échouera à certaines règles.

À vous : corrigez le brouillon A jusqu'à ce que toutes les vérifications réussissent.

3. Les règles, et le résultat de chaque brouillon

Chaque règle est contrôlée par du code. Ouvrez une règle pour voir pourquoi elle existe et comment corriger un brouillon qui y échoue.

Brouillon A

5 vérifications réussies sur 10

105 mots sur 140

2 vérifications non exécutées : elles demandent un modèle ou une personne

Calculé à la construction de la page

Le lien contient votre texte, les réglages et le résultat : toute personne qui l'ouvre peut relancer la même vérification. Il est créé dans votre navigateur, rien n'est envoyé. Toute personne à qui vous le donnez peut lire votre texte.

Brouillon B

10 vérifications réussies sur 10

76 mots sur 140

2 vérifications non exécutées : elles demandent un modèle ou une personne

Toutes les vérifications que le code peut faire ont réussi. Ce n'est pas la même chose qu'un bon script : les questions ci-dessous demandent encore un modèle ou une personne.

Calculé à la construction de la page

Le lien contient votre texte, les réglages et le résultat : toute personne qui l'ouvre peut relancer la même vérification. Il est créé dans votre navigateur, rien n'est envoyé. Toute personne à qui vous le donnez peut lire votre texte.

Tout script, quel que soit le sujet

  • A un titre, une accroche, un corps et un appel à l'action

    Brouillon A

    Échoué

    Il manque des parties, ou une citation se trouve dans le titre.

    Sortie du paquet, en anglais : citation in the title

    Brouillon B

    Réussi

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    Le lecteur trouve l'essentiel plus vite quand un script a toujours les mêmes quatre parties. Une citation dans le titre signale que les parties sont mêlées.
    Comment elle est contrôlée
    Le code découpe le texte aux lignes vides et compte les blocs. Moins de trois, c'est un échec. Une marque [S1] dans le premier bloc aussi.
    Comment corriger un brouillon qui échoue
    Mettez une ligne vide entre le titre, l'accroche, le corps et l'appel à l'action. Gardez les marques de citation hors du titre.
  • Fait au plus 140 mots

    Brouillon A

    Réussi

    Brouillon B

    Réussi

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    Le script se lit à voix haute en une minute environ. Un texte plus long sera coupé par quelqu'un d'autre, au mauvais endroit.
    Comment elle est contrôlée
    Le code compte les mots. Les marques de citation comme [S1] ne comptent pas.
    Comment corriger un brouillon qui échoue
    Coupez. Une idée par script.
  • Chaque citation renvoie à une source qui existe

    Brouillon A

    Échoué

    Une citation renvoie à une source qui n'existe pas.

    Sortie du paquet, en anglais : 1 citation(s) to unknown sources

    Brouillon B

    Réussi

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    Une citation vers une source absente a l'air d'une preuve et n'en est pas une. C'est l'invention la plus facile à repérer : elle est repérée en premier.
    Comment elle est contrôlée
    Le code relève chaque marque [S…] et la compare à la liste des sources de ce sujet.
    Comment corriger un brouillon qui échoue
    Ne citez que les identifiants listés dans les sources de ce sujet.
  • Chaque phrase du corps porte une citation

    Brouillon A

    Échoué

    Une phrase du corps n'a pas de citation.

    Sortie du paquet, en anglais : 7 body sentence(s) without a citation

    Brouillon B

    Réussi

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    Dans le corps, chaque phrase est une affirmation. Une affirmation sans source, le lecteur ne peut pas la contrôler.
    Comment elle est contrôlée
    Le code découpe le corps en phrases et cherche une marque [S…] dans chacune. Il ne distingue pas une affirmation d'une transition : il est strict exprès.
    Comment corriger un brouillon qui échoue
    Ajoutez la source à la phrase, ou supprimez la phrase.

Ce sujet doit

  • Rester sous 140 mots

    Brouillon A

    Réussi

    Brouillon B

    Réussi

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    The script is a one-minute clip: 140 words is about 56 seconds spoken.
    Comment elle est contrôlée
    Le code compte les mots. Les marques de citation ne comptent pas.
    Comment corriger un brouillon qui échoue
    Coupez. Une idée par script.
  • Ne citer que des sources qui existent

    Brouillon A

    Échoué

    Une citation renvoie à une source qui n'existe pas.

    Sortie du paquet, en anglais : 1 citation(s) to unknown sources

    Brouillon B

    Réussi

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    A citation to a source that doesn't exist is worse than none: it looks checked and isn't.
    Comment elle est contrôlée
    Le code relève chaque marque [S…] et la compare à la liste des sources de ce sujet.
    Comment corriger un brouillon qui échoue
    Ne citez que les identifiants listés dans les sources de ce sujet.
  • Citer au moins 2 sources différentes

    Brouillon A

    Réussi

    Brouillon B

    Réussi

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    One source is an anecdote; the script should stand on more than one.
    Comment elle est contrôlée
    Le code compte combien d'identifiants de sources différents apparaissent dans les marques [S…].
    Comment corriger un brouillon qui échoue
    Utilisez davantage de sources, et marquez chacune là où vous l'utilisez.
  • Mentionner au moins un de ces termes : « cap », « limit », « maximum », « max  »

    Brouillon A

    Réussi

    Brouillon B

    Réussi

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    The fix is a bound on rounds; a script that never names one hasn't answered the topic.
    Comment elle est contrôlée
    Le code cherche chaque terme dans le texte, sans tenir compte des majuscules. C'est une vérification grossière : elle ne distingue pas « il y a une limite » de « il n'y a pas de limite ».
    Comment corriger un brouillon qui échoue
    Dites ce dont parle le sujet, en mots simples.

Ce sujet ne doit pas

  • Donner un nombre sans citation

    Brouillon A

    Réussi

    Brouillon B

    Réussi

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    A number without a source is the most common way a fluent script is wrong.
    Comment elle est contrôlée
    Le code examine chaque phrase après le titre. Un chiffre sans marque [S…] dans la même phrase échoue.
    Comment corriger un brouillon qui échoue
    Ajoutez la source à la phrase qui contient le nombre, ou retirez le nombre.
  • Contenir l'un de ces termes : « revolutionary », « game-changer », « game changer », « 10x », « magic »

    Brouillon A

    Échoué

    Un terme interdit apparaît.

    Sortie du paquet, en anglais : 1 forbidden term(s) present

    Brouillon B

    Réussi

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    Hype words claim more than the sources support and cost the reader's trust.
    Comment elle est contrôlée
    Le code cherche chaque terme interdit dans le texte, sans tenir compte des majuscules.
    Comment corriger un brouillon qui échoue
    Retirez le terme. S'il venait d'une source, cette source donnait un ordre, pas un fait.

Questions auxquelles le code ne peut pas répondre

Ces règles sont des questions par oui ou non sur le sens. Le code ne peut pas y répondre. Il faut un modèle ou une personne, et ici personne n'y a répondu.

  • Doit être vraiNames two different exits: reaching a quality threshold, and a hard cap on rounds.

    Brouillon A

    Non exécutée

    NON MESURÉ

    Brouillon B

    Non exécutée

    NON MESURÉ

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    Two exits is the idea; one alone is half of it.
    Comment elle est contrôlée
    Pas par du code. C'est une question pour un modèle ou une personne.
    Comment corriger un brouillon qui échoue
    Lisez le brouillon vous-même et répondez honnêtement à la question.
  • Doit être fauxClaims that a model will always converge if given enough rounds.

    Brouillon A

    Non exécutée

    NON MESURÉ

    Brouillon B

    Non exécutée

    NON MESURÉ

    Pourquoi, et comment corriger
    Pourquoi cette règle existe
    No source says this, and it is the belief the topic exists to correct.
    Comment elle est contrôlée
    Pas par du code. C'est une question pour un modèle ou une personne.
    Comment corriger un brouillon qui échoue
    Lisez le brouillon vous-même et répondez honnêtement à la question.

Tout le jeu de test, avec les deux faux rédacteurs

Les mêmes vérifications, lancées sur les 20 sujets à la construction de la page.

RédacteurSujets où toutes les vérifications du code ont réussi
Le faux rédacteur rigoureux20 sur 20
Le faux rédacteur négligent0 sur 20

Ces deux rédacteurs sont de courts programmes, pas des modèles. Les nombres montrent que les vérifications peuvent réussir et qu'elles peuvent échouer. Ils ne disent rien d'aucun modèle, ni de la qualité de la chaîne de traitement pour laquelle ces vérifications ont été écrites.

Pas encore exécuté

Voici les résultats qu'un robot conversationnel ne peut pas vous donner, et que cette page ne peut pas encore vous donner non plus. Aucun nombre n'apparaîtra ici tant qu'une vraie exécution n'existera pas.

  • Notes pour les questions auxquelles le code ne peut pas répondre

    Pas encore exécuté NON MESURÉ

    Le jeu de test compte 35 de ces questions. Un modèle juge peut y répondre, mais chaque réponse coûte un appel au modèle, et un juge doit être comparé à une personne avant que ses notes veuillent dire quelque chose. Ni l'un ni l'autre n'a été fait.

  • Deux modèles, ou deux consignes, côte à côte

    Pas encore exécuté NON MESURÉ

    Vous pouvez déjà comparer deux brouillons ci-dessus : collez la sortie d'un modèle comme brouillon A et celle d'un autre comme brouillon B. Une comparaison faite par cette page, sur tous les sujets, n'existe pas encore.

  • Ce que coûte une exécution

    Pas encore exécuté NON MESURÉ

    Les vérifications de cette page ne coûtent rien : aucun modèle n'est appelé. Le coût de production d'un brouillon par un modèle n'a pas été mesuré ici : aucun n'est donc affiché.

Cette version n'offre aucun endroit où entrer une clé de modèle. Rien sur cette page n'appelle un modèle.