14/14 · α = 1.000.
FIABILITÉ · DÉSACCORD · RÉPLICATION
VALID^
CON^ distingue avoir une méthode, avoir effectué un pilote et avoir répliqué une règle.
État actuel : REVISED. Le premier pilote aveugle a été exécuté avec GPT-5.6 Sol et Gemini 3.6 Flash. Il a produit un seul désaccord substantiel, conservé publiquement, qui a déclenché une révision du codebook.
01 · PILOT 01
14 unités.
Deux codeurs modèles.
13/14 · α ≈ 0.921.
13/14 · α ≈ 0.911.
8/9 · α ≈ 0.864.
P09 · bouffon de cour : le seul désaccord oppose une lecture FOOLISHNESS/INDETERMINATE à NONCONFORMITY/SUPPORTED. Le pilote révèle que le codebook mélangeait encore rôle social et inférence de trait.
02 · RÉVISION
Le désaccord a
modifié la méthode.
ATTRIBUTION_TYPE
TRAIT · CONDUCT · ROLE · INSTITUTIONAL_CLASSIFICATION · SYSTEM_OUTPUT · OTHER.
Rôle ≠ trait
La validité d’un rôle nommé « fool » se code séparément de toute inférence selon laquelle la personne manquerait réellement de jugement.
26 passages
ATTRIBUTION_TYPE est ajouté entre ATTRIBUTION et NEIGHBOR_CONCEPTS.
03 · DESIGN GÉNÉRAL
Mesurer le désaccord
avant de le résoudre.
Première passe indépendante
Au moins deux codeurs pour une validation ; inclure des codeurs n’ayant pas construit la règle lorsque c’est possible.
Krippendorff α + matrice
Rapporter accord brut, α, intervalles et catégories de désaccord plutôt qu’un chiffre isolé.
Adjudication traçable
Le consensus obtenu après discussion ne remplace jamais l’accord pré-adjudication.
04 · HUIT STRESS TESTS
La méthode doit
résister à ses faux positifs.
Admission false positives
Pilot 01 : cinq cas OUT correctement exclus par les deux codeurs.
Label swap
Garder les faits identiques et changer seulement « stupide », « ignorant », « incompétent », « malchanceux ».
Source blind
Coder sans identité de source puis comparer après révélation.
Ex ante / ex post
P02 a testé une contamination rétrospective explicite.
Countercase sensitivity
Plusieurs unités négatives stressaient erreur, handicap, immoralité, échec et absurdité.
Rival hypothesis
Exiger une explication concurrente avant stabilisation d’un claim.
Reflex reversal
Appliquer CON^REFLEX à nos propres claims et conserver les révisions.
Provenance completeness
Chaque claim doit résoudre ses sources et dérivations par IDs stables.
05 · ÉTATS
Pas de faux badge
« validé ».
UNVALIDATEDPILOTEDREVISEDREPLICATEDCONTESTED
Fiabilité ≠ vérité. Deux modèles distincts peuvent partager des biais. Le prochain seuil exige un second pilote sous le codebook révisé puis du codage humain indépendant avant toute revendication REPLICATED.