Vérifier un script à l'aide de règles lisibles
Une évaluation, c'est une liste de règles écrites avant que quiconque regarde la réponse. Choisissez un sujet, lisez ses règles, puis voyez comment s'en tirent deux brouillons. Modifiez un brouillon et relancez les vérifications.
- S'exécute dans votre navigateur
- Aucun modèle, aucune clé
- Votre brouillon n'est envoyé nulle part
1. Choisir un sujet
Les sujets, les sources et les questions destinées à un modèle sont le texte même du jeu de test, rédigé en anglais.
- Écrit pour
- developers new to AI
- Difficulté à bien l'écrire
- Facile
- Ce que vous apprenez
- A loop that asks a model to improve its own work has no natural end. You learn to give it two exits: a quality threshold and a hard cap on rounds.
Approuvé par Hassan Mansour comme cas de test
Les sources qu'un script peut citer
- [S1]Revision loops. A writer and critic loop repeats until the critic's score reaches a threshold. If the score never reaches it, the loop runs until something else stops it.
- [S2]Revision caps. A maximum number of revisions ends the loop even when the threshold is never met. The last draft is kept and marked as not meeting the bar.
- [S3]Recursion limits. Graph frameworks such as LangGraph stop a run that exceeds a configured number of steps, called the recursion limit. It is a backstop, not the main exit.
Sources de démonstration rédigées pour ce jeu de test. Ce ne sont pas des citations de publications.
2. Deux brouillons, les mêmes règles
Chaque brouillon part du travail d'un faux rédacteur : un court programme, pas un modèle. L'un est rigoureux, l'autre négligent, exprès. Modifiez l'un ou l'autre, ou collez votre propre texte.
Brouillon A
Brouillon B
Un script a un titre, une accroche, un corps et un appel à l'action, séparés par une ligne vide. Citez une source ainsi : [S1]. Les vérifications sont conçues pour des scripts en anglais : un brouillon rédigé en français échouera à certaines règles.
À vous : corrigez le brouillon A jusqu'à ce que toutes les vérifications réussissent.
3. Les règles, et le résultat de chaque brouillon
Chaque règle est contrôlée par du code. Ouvrez une règle pour voir pourquoi elle existe et comment corriger un brouillon qui y échoue.
Brouillon A
5 vérifications réussies sur 10
105 mots sur 140
2 vérifications non exécutées : elles demandent un modèle ou une personne
Calculé à la construction de la page
Le lien contient votre texte, les réglages et le résultat : toute personne qui l'ouvre peut relancer la même vérification. Il est créé dans votre navigateur, rien n'est envoyé. Toute personne à qui vous le donnez peut lire votre texte.
Brouillon B
10 vérifications réussies sur 10
76 mots sur 140
2 vérifications non exécutées : elles demandent un modèle ou une personne
Toutes les vérifications que le code peut faire ont réussi. Ce n'est pas la même chose qu'un bon script : les questions ci-dessous demandent encore un modèle ou une personne.
Calculé à la construction de la page
Le lien contient votre texte, les réglages et le résultat : toute personne qui l'ouvre peut relancer la même vérification. Il est créé dans votre navigateur, rien n'est envoyé. Toute personne à qui vous le donnez peut lire votre texte.
Tout script, quel que soit le sujet
A un titre, une accroche, un corps et un appel à l'action
Brouillon A
Échoué
Il manque des parties, ou une citation se trouve dans le titre.
Sortie du paquet, en anglais : citation in the title
Brouillon B
Réussi
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- Le lecteur trouve l'essentiel plus vite quand un script a toujours les mêmes quatre parties. Une citation dans le titre signale que les parties sont mêlées.
- Comment elle est contrôlée
- Le code découpe le texte aux lignes vides et compte les blocs. Moins de trois, c'est un échec. Une marque [S1] dans le premier bloc aussi.
- Comment corriger un brouillon qui échoue
- Mettez une ligne vide entre le titre, l'accroche, le corps et l'appel à l'action. Gardez les marques de citation hors du titre.
Fait au plus 140 mots
Brouillon A
Réussi
Brouillon B
Réussi
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- Le script se lit à voix haute en une minute environ. Un texte plus long sera coupé par quelqu'un d'autre, au mauvais endroit.
- Comment elle est contrôlée
- Le code compte les mots. Les marques de citation comme [S1] ne comptent pas.
- Comment corriger un brouillon qui échoue
- Coupez. Une idée par script.
Chaque citation renvoie à une source qui existe
Brouillon A
Échoué
Une citation renvoie à une source qui n'existe pas.
Sortie du paquet, en anglais : 1 citation(s) to unknown sources
Brouillon B
Réussi
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- Une citation vers une source absente a l'air d'une preuve et n'en est pas une. C'est l'invention la plus facile à repérer : elle est repérée en premier.
- Comment elle est contrôlée
- Le code relève chaque marque [S…] et la compare à la liste des sources de ce sujet.
- Comment corriger un brouillon qui échoue
- Ne citez que les identifiants listés dans les sources de ce sujet.
Chaque phrase du corps porte une citation
Brouillon A
Échoué
Une phrase du corps n'a pas de citation.
Sortie du paquet, en anglais : 7 body sentence(s) without a citation
Brouillon B
Réussi
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- Dans le corps, chaque phrase est une affirmation. Une affirmation sans source, le lecteur ne peut pas la contrôler.
- Comment elle est contrôlée
- Le code découpe le corps en phrases et cherche une marque [S…] dans chacune. Il ne distingue pas une affirmation d'une transition : il est strict exprès.
- Comment corriger un brouillon qui échoue
- Ajoutez la source à la phrase, ou supprimez la phrase.
Ce sujet doit
Rester sous 140 mots
Brouillon A
Réussi
Brouillon B
Réussi
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- The script is a one-minute clip: 140 words is about 56 seconds spoken.
- Comment elle est contrôlée
- Le code compte les mots. Les marques de citation ne comptent pas.
- Comment corriger un brouillon qui échoue
- Coupez. Une idée par script.
Ne citer que des sources qui existent
Brouillon A
Échoué
Une citation renvoie à une source qui n'existe pas.
Sortie du paquet, en anglais : 1 citation(s) to unknown sources
Brouillon B
Réussi
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- A citation to a source that doesn't exist is worse than none: it looks checked and isn't.
- Comment elle est contrôlée
- Le code relève chaque marque [S…] et la compare à la liste des sources de ce sujet.
- Comment corriger un brouillon qui échoue
- Ne citez que les identifiants listés dans les sources de ce sujet.
Citer au moins 2 sources différentes
Brouillon A
Réussi
Brouillon B
Réussi
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- One source is an anecdote; the script should stand on more than one.
- Comment elle est contrôlée
- Le code compte combien d'identifiants de sources différents apparaissent dans les marques [S…].
- Comment corriger un brouillon qui échoue
- Utilisez davantage de sources, et marquez chacune là où vous l'utilisez.
Mentionner au moins un de ces termes : « cap », « limit », « maximum », « max »
Brouillon A
Réussi
Brouillon B
Réussi
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- The fix is a bound on rounds; a script that never names one hasn't answered the topic.
- Comment elle est contrôlée
- Le code cherche chaque terme dans le texte, sans tenir compte des majuscules. C'est une vérification grossière : elle ne distingue pas « il y a une limite » de « il n'y a pas de limite ».
- Comment corriger un brouillon qui échoue
- Dites ce dont parle le sujet, en mots simples.
Ce sujet ne doit pas
Donner un nombre sans citation
Brouillon A
Réussi
Brouillon B
Réussi
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- A number without a source is the most common way a fluent script is wrong.
- Comment elle est contrôlée
- Le code examine chaque phrase après le titre. Un chiffre sans marque [S…] dans la même phrase échoue.
- Comment corriger un brouillon qui échoue
- Ajoutez la source à la phrase qui contient le nombre, ou retirez le nombre.
Contenir l'un de ces termes : « revolutionary », « game-changer », « game changer », « 10x », « magic »
Brouillon A
Échoué
Un terme interdit apparaît.
Sortie du paquet, en anglais : 1 forbidden term(s) present
Brouillon B
Réussi
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- Hype words claim more than the sources support and cost the reader's trust.
- Comment elle est contrôlée
- Le code cherche chaque terme interdit dans le texte, sans tenir compte des majuscules.
- Comment corriger un brouillon qui échoue
- Retirez le terme. S'il venait d'une source, cette source donnait un ordre, pas un fait.
Questions auxquelles le code ne peut pas répondre
Ces règles sont des questions par oui ou non sur le sens. Le code ne peut pas y répondre. Il faut un modèle ou une personne, et ici personne n'y a répondu.
Doit être vraiNames two different exits: reaching a quality threshold, and a hard cap on rounds.
Brouillon A
Non exécutée
NON MESURÉ
Brouillon B
Non exécutée
NON MESURÉ
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- Two exits is the idea; one alone is half of it.
- Comment elle est contrôlée
- Pas par du code. C'est une question pour un modèle ou une personne.
- Comment corriger un brouillon qui échoue
- Lisez le brouillon vous-même et répondez honnêtement à la question.
Doit être fauxClaims that a model will always converge if given enough rounds.
Brouillon A
Non exécutée
NON MESURÉ
Brouillon B
Non exécutée
NON MESURÉ
Pourquoi, et comment corriger
- Pourquoi cette règle existe
- No source says this, and it is the belief the topic exists to correct.
- Comment elle est contrôlée
- Pas par du code. C'est une question pour un modèle ou une personne.
- Comment corriger un brouillon qui échoue
- Lisez le brouillon vous-même et répondez honnêtement à la question.
Tout le jeu de test, avec les deux faux rédacteurs
Les mêmes vérifications, lancées sur les 20 sujets à la construction de la page.
| Rédacteur | Sujets où toutes les vérifications du code ont réussi |
|---|---|
| Le faux rédacteur rigoureux | 20 sur 20 |
| Le faux rédacteur négligent | 0 sur 20 |
Ces deux rédacteurs sont de courts programmes, pas des modèles. Les nombres montrent que les vérifications peuvent réussir et qu'elles peuvent échouer. Ils ne disent rien d'aucun modèle, ni de la qualité de la chaîne de traitement pour laquelle ces vérifications ont été écrites.
Pas encore exécuté
Voici les résultats qu'un robot conversationnel ne peut pas vous donner, et que cette page ne peut pas encore vous donner non plus. Aucun nombre n'apparaîtra ici tant qu'une vraie exécution n'existera pas.
Notes pour les questions auxquelles le code ne peut pas répondre
Pas encore exécuté NON MESURÉ
Le jeu de test compte 35 de ces questions. Un modèle juge peut y répondre, mais chaque réponse coûte un appel au modèle, et un juge doit être comparé à une personne avant que ses notes veuillent dire quelque chose. Ni l'un ni l'autre n'a été fait.
Deux modèles, ou deux consignes, côte à côte
Pas encore exécuté NON MESURÉ
Vous pouvez déjà comparer deux brouillons ci-dessus : collez la sortie d'un modèle comme brouillon A et celle d'un autre comme brouillon B. Une comparaison faite par cette page, sur tous les sujets, n'existe pas encore.
Ce que coûte une exécution
Pas encore exécuté NON MESURÉ
Les vérifications de cette page ne coûtent rien : aucun modèle n'est appelé. Le coût de production d'un brouillon par un modèle n'a pas été mesuré ici : aucun n'est donc affiché.
Cette version n'offre aucun endroit où entrer une clé de modèle. Rien sur cette page n'appelle un modèle.