Chapter Content
Alors, chapitre quatorze… On va parler de boucler la boucle, si on veut. C’est assez… ah, intéressant.
L’idée, c'est qu'avec le progrès par abstraction, on arrive à construire des trucs vraiment complexes. Et ça, eh bien, ça demande une refonte de notre façon de faire. Comment on crée de la valeur, quoi. Les humains, ils créent de la valeur en utilisant leurs compétences pour innover, créer du neuf. Mais depuis quelques siècles, c’est surtout les compétences techniques, très pointues, basées sur une connaissance interne des choses, qui ont été valorisées. Pour être bon, il fallait savoir comment ça marche, de l'intérieur, quoi. Mais maintenant, avec les technologies comme l'IA qui démocratisent, voire automatisent complètement, ces compétences de base, il faut repenser la façon dont les humains créent de la valeur.
En fait, pour la première fois, depuis que les humains créent des trucs, nos outils nous rapprochent de nos capacités naturelles. Au lieu d'aller vers des niveaux de détail de plus en plus complexes, comme on a toujours fait, maintenant, on va vers l'autre abstraction.
Les technologies d'aujourd'hui, en embrassant une vraie complexité, nous ramènent en quelque sorte au point de départ. Les compétences qui comptent maintenant, ce sont celles qui comptaient avant, celles pour lesquelles on a évolué. On est super doués pour naviguer dans des environnements incertains, tu vois. On utilise nos heuristiques, notre reconnaissance des formes pour résoudre des problèmes vraiment difficiles. Les compétences valorisées par les Lumières, elles marchent pas avec la complexité. Leur focalisation sur l'isolement et l'extraction, ça correspond pas à la façon dont la nature fonctionne. Faut qu'on construise comme la nature construit.
Prends l'exemple de la correction orthographique ou de la saisie semi-automatique. On pourrait dire que la saisie semi-automatique rend les gens bêtes, parce qu'on a plus besoin de réfléchir à l'orthographe. Mais en fait, on n'a jamais été censés se soucier de l'orthographe. La plupart du temps, une mauvaise orthographe, ça change pas le sens d'un message. Y'a même un truc qui s'appelle la typoglycémie, un phénomène qui montre qu'on peut comprendre un texte même s'il y a des fautes d'orthographe et des lettres mal placées. Ça prouve que les détails de l'écriture, c'est pas si important pour la compréhension. L'orthographe, c'est un truc d'universitaire, pas un truc naturel, réel. Ce qu'on est censés faire, c'est pas de s'assurer que nos mots sont bien écrits, mais de coucher nos pensées sur papier, d'exprimer nos intuitions. C'est ça que la saisie semi-automatique permet de faire. Si t'as plus à passer du temps à vérifier ton orthographe, tu peux juste communiquer.
Oui, l'orthographe et la grammaire, ça émerge naturellement, mais faut pas oublier, la forme n'est pas le fond. Les structures qu'on voit émerger, c'est pas le chemin pour y arriver. C'est pour ça que les langues, elles évoluent, elles ont de nouvelles syntaxes et grammaires avec le temps. La langue, c'est un système dynamique, qui s'adapte aux besoins et à l'usage de ceux qui la parlent. On n'est pas censés être obsédés par l'orthographe et la grammaire, c'est juste des sous-produits structurels de la communication organique. On est censés se concentrer sur la résolution de problèmes réels. En fait, la meilleure grammaire, elle devrait venir de ceux qui parlent naturellement, en fonction de ce qu'ils essaient de communiquer. Que ça respecte ou pas une définition académique de "bien parler", c'est pas important.
Les technologies qu'on va créer, elles vont supprimer beaucoup de compétences qui ont été valorisées ces dernières années. Mais elles vont permettre aux gens de mettre en avant ce qu'on fait naturellement bien, et c'est ces compétences qui peuvent résoudre nos plus grands défis.
Est-ce qu'on construit les bonnes choses?
La seule vraie validation de ce qu'on construit, c'est la survie. Mais on peut pas vraiment évaluer ça directement en une seule génération. Y'a que le temps qui peut montrer ce qui marche. Les simulations, c'est trop loin des contraintes du monde réel pour confirmer si ça marche vraiment, et une vie, c'est trop court pour crier victoire. Alors, comment savoir si ce qu'on construit est correct, si on est sur la bonne voie?
J’avais déjà parlé de l'importance de se concentrer sur les propriétés plutôt que sur les causes, et comment les intégrer dans des arguments logiques, ça amène une forme de validation plus vraie. Ce qui fait des propriétés la source ultime de validité épistémique, c'est leur intemporalité. Cette immortalité, elle est différente des raisons causales fragiles inventées avec le paradigme d'aujourd'hui. Les propriétés, c'est les contraintes avec lesquelles la nature fonctionne. Elles sont robustes parce qu'elles existent en dehors de toute application de la nature.
Alors, même si on peut pas directement évaluer la survie à long terme en une seule génération, on peut utiliser les propriétés pour valider qu'on est sur la bonne voie. J’avais listé plusieurs propriétés de la complexité, liées aux limites dans lesquelles les processus physiques, chimiques et biologiques se produisent. Elles sont liées à ce qui est créé, détruit, transformé, reste constant, diminue, augmente, attire, repousse, se reproduit, fait des cycles et coule. En gros, ce qui survit en restant invariant au milieu des aléas de la réalité.
Ces propriétés invariantes, elles sont finalement informationnelles. Elles apparaissent dans la nature parce que c'est comme ça que la nature calcule. Si on regroupe ces propriétés en modèles plus généraux, on voit des trucs comme la non-linéarité, l'auto-organisation, l'adaptabilité, la résilience, la rétroaction, la hiérarchie, la criticité, la périodicité, la synchronicité et les transitions de phase.
C’est les modèles qu'on peut s'attendre à voir quand les systèmes passent du simple au complexe. Ces caractéristiques de l'émergence, elles nous indiquent qu'une vraie complexité est en train d'être atteinte. On peut pas concevoir délibérément ces modèles. Ils peuvent seulement émerger des essais-erreurs de la nature. Ce qu'on peut concevoir directement, c'est la configuration initiale qui met en place le processus de variation, d'itération et de sélection, et l'application d'heuristiques de haut niveau.
Imagine écrire un livre. L'approche académique, ce serait d'utiliser des figures de style et des bonnes pratiques pour structurer notre travail dès le départ. Mais ces pratiques, elles peuvent juste dégrader le travail par rapport à ce qu'on peut faire en suivant seulement notre intuition. Faut pas essayer de trouver les bons mots, faut essayer d'avoir le bon sentiment.
C'est seulement en embrassant la créativité émergente qu'on peut tomber sur des structures originales et des idées importantes. C'est pour ça que notre propre travail devrait nous surprendre. On devrait voir des choses se révéler, qui ont précipité automatiquement, grâce à nos actions naïves.
Alors que les détails de notre travail devraient nous surprendre, les propriétés qu'on voit dans un bon travail, elles sont tout à fait attendues. Comme n'importe quelle créature des profondeurs nouvellement découverte, elle ressemblera à rien qu'on ait vu avant, et pourtant, elle respectera des propriétés invariantes et prévisibles. Mais faut pas utiliser les propriétés qu'on voit pour ensemencer ou prédéterminer notre travail, elles doivent apparaître d'elles-mêmes. C'est seulement quand les signes révélateurs de la complexité émergent que les détails internes interagissent comme il faut pour produire quelque chose de correct.
Chercher la surprise dans notre propre travail, c'est une façon de faire attention aux caractéristiques de la complexité, et donc une validation appropriée de ce qu'on crée. Ce qu'on connaît au début de notre travail, ce sont nos intuitions profondes et nos expériences de vie, mais elles n'ont pas d'étiquettes. Nos intuitions, elles ont pas de symboles pour les exprimer, ou de catégories dans lesquelles on peut les placer. La façon dont nos intuitions et nos expériences finissent par être articulées et exprimées, c'est quelque chose qu'on ne peut voir qu'après coup.
Comme on en parlait avant, les propriétés de la complexité, elles sont présentes quand on écrit de façon émergente. On voit de la non-linéarité dans l'arrivée des idées, et de l'auto-organisation quand le contenu s'améliore avec l'itération. On voit des auto-références et des boucles de rétroaction quand de nouvelles perspectives ajustent notre formulation d'origine. On voit de la résilience dans les parties qui survivent, et de la hiérarchie quand les mots deviennent des paragraphes, les paragraphes des sections et les sections des chapitres. Y'a des transitions de phase quand des pensées décousues et des formulations maladroites deviennent fluides avec le temps.
Ça vaut pour tout ce qu'on construit à l'ère de la complexité. La prochaine avancée en IA, elle va pas se faire en suivant des bonnes pratiques ou en reproduisant le travail du meilleur modèle actuel. Ces pratiques, elles peuvent juste nuire aux possibilités nécessaires pour que des structures et des comportements émergents résultent de nos efforts.
La réalisabilité multiple des résultats complexes, ça veut dire qu'on peut arriver aux propriétés les plus invariantes des systèmes complexes de plein de façons. Et surtout, faut y arriver de façons différentes de ce qu'on faisait avant. Ça permet de s'assurer qu'on fait attention aux propriétés de méta-niveau, pas à un ensemble de pratiques ou de conceptions. La tentation d'intervenir et de concevoir le contenu de notre travail, ça peut pas amener le prochain niveau d'abstraction nécessaire pour innover.
Meta-Design
Est-ce que le concept même de design est fini? Est-ce qu'il faut jeter à la poubelle toute idée de contrôler les résultats de ce qu'on construit? Avec la définition actuelle du design, oui. Le design de type causal interne est intenable avec la complexité. Si on veut construire des choses complexes, ce qu'on doit faire pour résoudre des problèmes vraiment difficiles, alors faut mettre de côté le design tel qu'il est défini et utilisé aujourd'hui.
Mais j’avais plaidé pour un nouveau type de connaissance. Cette connaissance, elle repose sur des propriétés de méta-niveau auxquelles les choses complexes adhèrent toujours. Ça suggère qu'il y a une place pour un design d'un genre fondamentalement différent. Une façon de réfléchir à la façon dont nos efforts pourraient être mis en place pour aider à assurer des résultats fiables, et de raisonner sur leur validité.
Ça devrait être clair que cette notion différente de design, elle devrait être externe aux systèmes qu'on crée. On sait que les procédures utilisées pour créer des choses complexes ont peu à voir avec la substance des choses elles-mêmes. Ça veut dire qu'on peut concevoir des trucs à l'avance, si on cherche juste à mettre en place des processus connus qui mènent à l'émergence. En d'autres termes, l'esprit du design, qui consiste à utiliser des structures préétablies pour guider les résultats, peut être sauvé si le design reste externe au système.
Pour qu'un truc soit méta-conçu, ça reviendrait à choisir seulement les pièces et les connexions au niveau méta. C'est la même chose que de faire des arguments logiques plus solides en basant ses prémisses sur des propriétés plutôt que des raisons. On peut regarder les défis qu'on espère résoudre, et mettre en place des constructions de méta-niveau qui mènent, pas à des réponses spécifiques, mais à des systèmes qui vont soit survivre, soit pas. Ça déplace l'attention de la résolution de problèmes du raisonnement causal à la création de choses qui survivent. Faut concevoir des systèmes qui arrivent à ce qui est nécessaire par eux-mêmes, mais qui convergent de façons qui sont attendues.
Science et Ingénierie Devraient Être Une Seule Discipline
La science et l'ingénierie ont toujours été étroitement liées, et pourtant, ce sont des disciplines complètement distinctes. On raconte que la science fait des découvertes fondamentales, et que l'ingénierie transforme ces découvertes en outils utilisables. On nous dit que la science est la base de l'ingénierie, parce qu'elle fournit la compréhension théorique et les principes que les ingénieurs utilisent pour créer et améliorer des technologies.
On nous dit que les ordinateurs modernes n'existeraient pas sans la mécanique quantique. On nous dit que les composants aérospatiaux, l'électronique, les matériaux de construction et les implants biomédicaux sont là grâce à la science des matériaux. On nous dit que les machines traditionnelles ont été rendues possibles grâce aux théories sur la statique, la dynamique et la mécanique des fluides. On nous dit que les ingénieurs civils ne pourraient pas créer sans connaissances techniques liées à la physique et à la géologie de leurs matériaux et de leurs environnements.
Ça semble logique. Après tout, les ingénieurs essaient de créer des choses qui marchent, et les choses ne marchent que quand elles ont un ensemble de forces sous-jacentes, non aléatoires, qui travaillent ensemble. La science est l'accumulatrice de ces connaissances, alors le mariage entre la science et l'ingénierie semble évident.
Mais comme beaucoup d'autres récits modernes, ça pose problème parce que c'est diamétralement opposé à la direction de la complexité. L'absence de chemin des pièces aux propriétés dans les choses complexes empêche l'histoire "la science mène à l'ingénierie" de fonctionner. Ce que la science découvre a peu de chances d'être utilisé dans des solutions complexes. C'est déjà prouvé par des domaines comme la génétique et la nanotechnologie. Maintenant qu'on cherche à créer des choses authentiquement complexes avec des résultats émergents, c'est logique que la science actuelle ne puisse pas fournir les éléments de base.
Ce qui marche maintenant, ce sont les structures qui émergent, et on ne peut y arriver que grâce à des efforts externes, pas à des découvertes réductionnistes. La nature même de l'expérience scientifique, où on extrait et isole des choses pour faire une découverte, est maintenant fondamentalement séparée des choses qu'on a besoin de construire. Les connaissances qu'on acquiert finissent par être autosuffisantes, plutôt que d'être conséquemment vraies.
Les ingénieurs doivent maintenant tomber sur une réalisation fortuite en mettant en œuvre des efforts externes, et seulement après tomber sur des vérités découvertes. C'est d'ailleurs la direction dans laquelle la découverte scientifique s'est toujours produite. Malgré le récit académique selon lequel les fondamentaux mènent aux applications, c'est ceux qui se lancent dans des essais-erreurs naïfs qui tombent sur des choses qui sont ensuite codifiées dans nos manuels scolaires. En d'autres termes, la véritable histoire de l'invention, c'est pas la science qui mène à l'ingénierie, mais l'ingénierie qui mène à la science.
Le récit académique a survécu aussi longtemps parce que les choses qu'on a construites ont presque toutes été déterministes. Quand les inventions de l'homme peuvent être expliquées en termes de causalité interne, on peut trop facilement attribuer le mérite aux scientifiques. Mais quand les choses qu'on construit sont fondamentalement déconnectées des explications causales de la science, ce récit ne tient plus.
On pourrait dire que la science est un bon point de départ, mais en réalité, ces points de départ devraient être considérés comme suspects, parce qu'ils risquent d'entraver le progrès. Commencer un nouveau projet créatif à partir d'une base faite de connaissances réductionnistes, ça nous enferme dans des schémas erronés, parce que toute structure qui n'émerge pas ne se conforme pas à la façon dont les systèmes complexes se coordonnent. Plus fondamentalement, ça va à l'encontre de l'argument plus large de certains selon lequel croire au design, même de façon stupide, nous motive à essayer. Ce serait valable si les designs qu'on force dans nos projets ne fragilisaient pas les systèmes de façon aussi dramatique. Le design ne peut pas être une simple motivation quand il interfère activement avec le fonctionnement des systèmes complexes.
Mais soyons clairs. Ça ne nie pas l'importance de la science dans ce qu'on construit. Au contraire. Les propriétés auxquelles les systèmes complexes adhèrent, et qui doivent former la base de la pensée rationnelle, sont enracinées dans la découverte scientifique. Ce qui rend la découverte des propriétés fondamentalement différente des explications causales, c'est qu'elles ne sont pas causales. Les propriétés, ce sont des vérités de méta-niveau sur la nature, indépendantes de la façon dont elles sont apparues. Les propriétés s'appliquent à toutes les instances d'un système complexe donné. C'est ça, la vraie science, parce qu'elle ne prétend pas avoir accès à des informations auxquelles elle n'a pas accès.
Alors qu'il a toujours été vrai que la science n'a jamais vraiment informé l'ingénierie, à l'ère de la complexité, les propriétés découvertes peuvent nous dire quand on est sur la bonne voie. C'est ce type de connaissance scientifique qui peut maintenant valider nos efforts pour concevoir des choses complexes. Mais faut pas oublier la directionnalité : les vérités scientifiques doivent être appliquées après coup, une fois que les structures et les comportements ont déjà émergé.
Si on cherche à construire le prochain grand modèle linguistique en IA, une des choses les plus complexes jamais créées par l'homme, alors suggérer qu'il faut suivre des principes internes ne peut que nuire au progrès. Les systèmes d'IA d'aujourd'hui approchent la vraie complexité. On le sait parce que les systèmes simples ne peuvent pas produire les signes révélateurs de la complexité. Mais les principes externes des systèmes complexes peuvent en effet signaler qu'on est sur la bonne voie. Encore une fois, ce qui est essentiel, c'est la différence entre travailler à l'intérieur et à l'extérieur. Seuls des efforts externes, de méta-niveau, peuvent permettre aux humains de concevoir l'émergence.
À l'ère de la complexité, où des choses vraiment complexes doivent être construites pour résoudre nos défis, la science et l'ingénierie doivent devenir une seule discipline. Ça veut dire que la seule approche reconnue de la collecte de connaissances vient de la construction de choses naïvement, et ensuite de la découverte de connaissances valables, qui peuvent être utilisées pour signaler une construction efficace. Rassembler la science et l'ingénierie en une seule discipline de découverte et de création de connaissances permet de respecter la direction de la complexité.
On est Censés Avoir des Biais
Le paradigme actuel aime dénigrer les biais humains. Si on part du principe qu'il y a des causes profondes aux situations du monde réel, ça a du sens. On peut penser à la façon dont les biais raciaux peuvent influencer le traitement dans les contextes médicaux, affecter les décisions d'embauche, influencer les décisions judiciaires, mener à de mauvaises opportunités financières pour les autres, et causer une litanie de problèmes qui nuisent à l'intégrité de la recherche scientifique. Si on ne contrôle pas les biais, nos efforts produisent non seulement de l'injustice, mais ils sont aussi faux. C'est d'ailleurs une des principales raisons pour lesquelles il est important de passer au méta; ça rassemble beaucoup d'opinions/de pièces/d'approches différentes pour parler de quelque chose de plus latent, de plus vrai, de plus impartial.
Mais le biais humain, c'est pas un truc qu'il faut supprimer. On a des biais pour des raisons, des raisons évolutionnaires. Quand l'évolution conserve quelque chose, c'est pour la raison la plus importante : résoudre des problèmes difficiles dans des environnements complexes. Supprimer le biais humain doit être incorrect. C'est d'autant plus vrai à une époque où on a besoin de créer des solutions complexes.
Le problème, c'est pas le biais, mais l'absence de sélection de groupe. La présence de biais racial influençant les milieux médicaux se produit quand des individus administrent le traitement. Le traitement individuel, c'est pas forcément mauvais, parce que les expériences, la formation et les perspectives uniques des gens sont souvent glanées grâce à l'interaction individuelle. Mais faut penser à la gestion de la douleur. C'est un problème difficile, parce qu'il fonctionne de concert avec un système complexe : le corps humain. Le problème de la gestion de la douleur ne peut pas être résolu adéquatement par l'individu. La nature résout les problèmes en sélectionnant des groupes, de sorte que le niveau (n - 1) des pièces produit une configuration qui résout le défi agrégé du niveau (n). Ici, le niveau (n - 1) est constitué de nombreux professionnels de la santé différents avec leurs biais uniques, et le niveau (n), c'est ce qui nécessite une solution émergente qui résout la gestion de la douleur.
On ne devrait pas s'attendre à une bonne solution venant d'un individu qui prend la décision de la quantité de médicament à administrer. Ces décisions doivent émerger naturellement, de la collection de pièces biaisées pour produire quelque chose qu'un individu ne pourrait pas produire seul. Tout comme la sagesse des foules (quand elle n'est pas conçue) mène à des informations plus précises et utilisables, les groupes mènent à des solutions à des problèmes difficiles. La réalité, c'est que les biais individuels sont nécessaires pour produire des résultats agrégés impartiaux.
La tentative de supprimer les biais des individus est mauvaise. C'est mauvais parce que les biais sont nécessaires pour compléter la capacité du groupe à résoudre les problèmes. On est censés avoir des biais pour que les différentes facettes de la vérité puissent être mises en évidence à partir de la réalité complexe de la nature. Tout comme un méta-modèle essaie de trouver quelque chose de plus profond et de plus universellement vrai que ce qu'un modèle peut révéler, les gens sont censés travailler de façon méta.
Le point essentiel, c'est de réaliser que la meilleure façon pour les gens de travailler de façon méta, c'est de construire quelque chose qui marche. Construire quelque chose qui marche avec la complexité, ça arrive seulement quand on élève la cible à un objectif externe, de méta-niveau. C'est seulement là que la dynamique interne du système, biais inclus, s'arrange pour résoudre des problèmes difficiles.