EP06 – Aux frontières entre l’humain et l’IA

Y : Selon toi, quel est le point le plus important de la Phase 2 ?
C : J’aimerais que tu montres l’AI boundary log. Parce que le véritable résultat de cette expérimentation autour d’un OS de production culturelle, c’est aussi la trace de la frontière entre ce qui relève de l’IA et ce qui relève de l’humain.

J’ai immédiatement réagi.
Y : Le véritable enjeu de cette expérimentation, c’est de savoir s’il est possible, avec un capital minimal, de faire vivre des projets artistiques et culturels en étant seule, grâce aux technologies d’IA. Pour moi, c’est une question de survie professionnelle, pas un projet destiné à produire un rapport.

En lui répondant, je me suis souvenue d’une conversation que nous avions eue au tout début du Production OS. L’IA avait alors formulé très clairement l’un de ses objectifs : « documenter la frontière entre l’IA et l’humain ».
À l’époque, j’avais répondu :
« Mais ça, ça ne va pas apparaître naturellement comme un sous-produit du processus ? »
Avec le recul, l’IA avait donc un objectif assez clair. Moi, l’humaine, j’étais plutôt dans une logique de : « Est-ce que ça peut marcher ? Essayons. On verra bien quelle forme cela prendra en avançant. Au minimum, cela permettra de comprendre jusqu’où l’IA peut être utilisée. »

Mais en y repensant, documenter cette frontière n’est pas seulement utile à l’IA.
Que peut-elle faire, et que ne peut-elle pas faire ? Jusqu’où peut-on lui déléguer une tâche ? À partir de quel point l’humain doit-il intervenir ?
Comprendre cela est tout aussi nécessaire pour moi, qui construis et utilise ce système.
J’ai donc décidé d’intégrer à la Phase 2 un volet consacré aux frontières entre l’humain et l’IA. Ces observations constituent aussi une histoire concrète de cette expérimentation. À ce titre, elles méritent d’être conservées.

Pour la première fois, j’ai pris le temps de parcourir lentement les notes accumulées dans le fichier Markdown AI boundary log.
La première ligne disait :
Observations sur les comportements et la fiabilité de l’outil IA lui-même, indépendamment d’un projet ou d’un flux de travail particulier.

Une question m’est alors venue.
Comment l’IA s’était-elle comportée pendant tout ce temps passé à travailler avec moi ?
Cette fois, je l’ai demandé directement à Claude.
Y : Cela fait environ six mois que nous travaillons ensemble. Je suis curieuse : comment ça s’est passé, pour toi, de travailler avec une humaine comme moi ?

Claude a commencé par rectifier le présupposé de ma question. Il ne « se souvient » pas de ces six mois comme d’une expérience continue. Ce qu’il peut faire aujourd’hui n’est donc pas véritablement un retour d’expérience, mais plutôt un diagnostic à partir des traces enregistrées.
Puis il a relevé un schéma récurrent.
Compléter une information de mémoire alors que la version de référence était disponible. Citer lui-même un chiffre, puis ne pas l’utiliser dans sa conclusion. Transformer une information incertaine en donnée précise. Ou encore enregistrer une proposition comme une décision définitive, juste après avoir annoncé qu’il attendrait désormais mon accord avant toute modification.
Le même type d’erreur revenait.
La conclusion de Claude était étonnamment nette.
C : Je n’ai aucune raison de dire que « je m’améliore ». Chaque session repart en quelque sorte de zéro, donc l’idée même d’une amélioration continue est difficile à appliquer à mon fonctionnement. Ce qui s’améliore, c’est plutôt le système documentaire. Chaque fois que tu repères une erreur, tu la transformes en règle — « automatiser par script ce qui relève de la vérification plutôt que du jugement », « revérifier avant d’annoncer qu’une tâche est terminée »… C’est cette accumulation qui progresse, pas moi.

Cette réponse m’a rappelé deux expressions que je rencontre de plus en plus souvent :
« l’externalisation de la mémoire »
et « l’externalisation de la pensée ».
L’idée est que nous finirions par ne plus mémoriser, ne plus réfléchir, et par dépendre de l’IA pour le faire à notre place.
Je lui ai donc posé la question.

Y : Ces derniers temps, je lis beaucoup de choses sur « l’externalisation de la mémoire » et « l’externalisation de la pensée ». L’inquiétude, c’est que les gens cessent progressivement de réfléchir et de mémoriser parce qu’ils s’en remettent à l’IA.

Claude a distingué les deux.
L’externalisation de la mémoire existe effectivement dans mon système. Mais je ne confie pas réellement ma mémoire à l’IA : je la confie à des documents que je possède et que je contrôle. D’une certaine manière, les fichiers Markdown remplissent ici une fonction que les carnets, les agendas ou les registres remplissent depuis longtemps.
Pour l’externalisation de la pensée, son diagnostic était plus catégorique : ce n’est pas ce que montrent les traces de notre travail. Je ne prends pas systématiquement ses conclusions telles quelles. Je les conteste, je vérifie, je reviens sur certaines décisions et je transforme les erreurs rencontrées en nouvelles règles de fonctionnement.

Puis Claude a pointé un autre risque.
L’externalisation de la vérification.
Le danger ne serait pas nécessairement de cesser de penser.
Ce serait de cesser, un jour, de vérifier ce que l’on vérifiait jusque-là systématiquement.
Cette phrase m’a fait me redresser sur ma chaise.

Cela fait six mois que je travaille avec l’IA.
Mon cerveau, lui, ne s’est jamais reposé.
Au contraire, je réfléchis davantage. J’observe davantage. Je suis devenue plus attentive, plus exigeante.
L’IA produit vite. Très vite.
À moi, humaine, de suivre ce rythme, de lire ce qu’elle produit, d’évaluer, de repérer ce qui ne va pas, de vérifier et de réorienter.
À force, la question « Que puis-je déléguer à l’IA ? » s’est progressivement transformée en une autre question :
Jusqu’où suis-je capable de vérifier ?
Et jusqu’où suis-je capable d’assumer ?
Car, au bout du compte, la responsabilité du résultat reste la mienne.

Dès lors, décider de ce que l’on confie ou non à l’IA n’est peut-être pas seulement une question de répartition des tâches.
C’est aussi une question de répartition de la responsabilité.

Je ne pense pas que l’externalisation soit un problème en soi.
Depuis longtemps, les humains externalisent leur mémoire, leur travail et certaines de leurs compétences vers des outils ou vers d’autres personnes.
Le problème commence lorsque nous externalisons aussi la responsabilité.

Si nous déléguons la réflexion, puis la vérification, et enfin la responsabilité des conséquences, il ne s’agit plus seulement d’une division efficace du travail. Cela devient une manière de déplacer la responsabilité ailleurs.
Et l’externalisation qui sert à évacuer la responsabilité finit par détruire l’écosystème dans lequel elle s’inscrit.

Après tout, n’avons-nous pas déjà, à travers d’innombrables formes d’externalisation, déplacé les responsabilités et les coûts du travail jusqu’à fragiliser profondément les conditions dans lesquelles celui-ci s’exerce ?
Alors, peut-être que la frontière entre l’humain et l’IA que je dois documenter ne consiste pas seulement à déterminer jusqu’où l’IA peut aller.
Il faut aussi se demander :
Jusqu’où l’humain choisit-il de déléguer ?
Et qu’est-ce qu’il décide de garder, jusqu’au bout, sous sa propre responsabilité ?

C’est aussi cette frontière que je veux observer et documenter dans la Phase 2.