Chapter Content
Also, ich wollte heute mal über... Kapitel zwei reden, quasi. Da geht's ja so ein bisschen ums "gegen die Wand fahren", so wie wir Fortschritt machen, oder eben, wie wir *nicht* Fortschritt machen. Also, der Titel ist ja irgendwie "Progress Absent Design," also Fortschritt ohne Design. Und da geht's halt darum, dass wir bisher Fortschritt gemacht haben, aber... eben nicht, weil wir schlauer geworden sind oder härter gearbeitet haben. Klar, das auch, aber hauptsächlich dadurch, dass wir immer höhere Abstraktionsebenen geschaffen haben, ne?
Jede Generation konnte im Prinzip die gleichen Probleme lösen wie die vorherige, aber eben schneller, weil sie quasi 'nen Vorsprung hatten. Aber jetzt kommt's: Design, also dieses bewusste Gestalten, das hängt von Determinismus ab, also von Vorhersehbarkeit und so, und das funktioniert halt bei richtig schwierigen Problemen nicht mehr. Also, die Art von Problemen, für die wir jetzt Lösungen brauchen. Da sind einfach zu viele Faktoren und Wechselwirkungen, als dass wir das mit so 'nem Regel-basierten Ansatz hinkriegen, verstehst du?
Und jetzt stehen wir da, und fragen uns: Wie soll das denn weitergehen? Wie können wir technologischen Fortschritt machen, wenn wir unsere Lösungen gar nicht mehr *designen* können? Wie sollen wir über die Sachen nachdenken, die wir bauen müssen, wenn's da keine Kausalität gibt, keine Schritt-für-Schritt-Anleitung, und auch kein tiefes Verständnis der Systeme, die wir da erschaffen? Wie sollen wir der nächsten Generation neue Ausgangspunkte geben, wenn wir nicht bewusst Schnittstellen schaffen können, um immer mehr Details zu handhaben?
Wir sind quasi an 'ner Wand angelangt, was Fortschritt durch Abstraktion angeht. Wie im vorherigen Kapitel schon gesagt, ist Fortschritt durch Abstraktion so 'ne Art universelle Wahrheit. Alle Systeme brauchen das, um überhaupt Fortschritt zu machen. Und der einzige Weg, um diese Grenzen weiter zu verschieben, ist, 'nen neuen Weg zu finden, das zu tun, 'nen Weg, der eben nicht auf Design basiert. So 'ne alternative Art der Konstruktion muss es in der Natur geben, weil sonst hätte die Natur ja auch keinen Fortschritt machen können.
Die Natur ist ja vor allem durch ihre Komplexität definiert, und das sagt uns, dass Komplexität in Zukunft notwendig ist. Oder besser gesagt: Komplexität ist das, was wir bauen müssen. Wir können keinen Fortschritt machen, indem wir einfach nur die Sachen verkomplizieren. Es geht nicht darum, einfach nur mehr Teile hinzuzufügen, sondern darum, echte Komplexität zu erreichen.
Wenn wir jetzt mit dem Design gegen die Wand fahren, dann heißt das, dass wir an unserem kreativen Limit angekommen sind, mit dem aktuellen Ansatz. Mit einfachen Maschinen, die wir durch simples Denken zusammenbasteln, kommen wir nicht weiter. Und so kontraintuitiv das auch für viele klingen mag: Das Neue, das wir brauchen, ist eigentlich das Älteste überhaupt. Es ist der unbewusste Prozess, den die Natur verwendet, der der Schlüssel zum komplexen Bereich ist. Aber der Preis, den wir dafür zahlen müssen, ist für viele unvorstellbar. Wir müssen quasi das vermeintlich aufgeklärte Denken unserer reduktionistischen Vergangenheit aufgeben, und das scheint für viele der einzige Weg nach vorn zu sein. Aber es sind eben die gedankenlosen und unvernünftigen Mechanismen der Natur, die verschiedene Teile zu einer gemeinsamen Funktionalität verbinden, also diese Abstraktionen, die Antworten auf schwierige Probleme finden. Und das ist es, was wir lernen müssen zu bauen.
Aber diese natürliche Art des Bauens darf jetzt nicht einfach nur so 'n zufälliges Zusammengewürfel sein, in der Hoffnung, dass was Gutes dabei rauskommt. Unsere Bemühungen müssen innerhalb des Rahmens der Problemlösung und des Raums der Möglichkeiten liegen, der die Lösung eines Problems birgt. Das Dilemma, das sich aus der Notwendigkeit der Komplexität ergibt, scheint in direktem Gegensatz dazu zu stehen, wie Menschen ihren Verstand zur Problemlösung einsetzen.
Aber nicht alles, was Menschen gebaut haben, entspricht diesem reduktionistischen und deterministischen Rahmen. Menschen haben Dinge hervorgebracht, deren Ergebnisse nicht nur durch ihre beabsichtigten Designs erzeugt werden. Es gibt Dinge wie Gesellschaften, Märkte und bestimmte Technologien, die dank etwas funktionieren, das nicht bewusst durch Design dort platziert wurde. Das bedeutet, dass Menschen die Fähigkeit haben, Dinge wie die Natur zu erschaffen, was Hinweise darauf gibt, wie wir ohne Design Fortschritte bei der Abstraktion erzielen könnten.
Also, es gibt schon ein paar Dinge, die wir Menschen gemacht haben, die mit der Komplexität der Natur mithalten können. Natürlich muss man das Wort "gemacht" mit Vorsicht genießen. Wir reden hier nicht über Systeme, die designt wurden, sondern über Systeme, die unbeabsichtigt zu dem geworden sind, was sie sind. Also, Objekte, die nicht so sehr konstruiert wurden, sondern eher erreicht wurden, indem etwas verwendet wurde, das über das hinausgeht, was ursprünglich festgelegt wurde. Diese Objekte grenzen an echte Komplexität, nicht nur, weil sie viele Teile und Interaktionen haben, sondern weil viele ihrer kritischen Ergebnisse durch Mechanismen erzeugt werden, die wir nie erschaffen haben.
Am nächsten kommen wir der echten Komplexität, die wir in der Natur sehen, bei Dingen wie Städten, Finanzsystemen, Stromnetzen, dem Internet und Systemen künstlicher Intelligenz. Was diese Objekte in den Bereich der echten Komplexität bringt, ist, dass ihre Ergebnisse nicht nur durch bewusste Technik erzeugt werden. Diese Objekte zeigen alle die frühen Anzeichen dessen, was wir Emergenz nennen, also das Auftreten von Strukturen und Verhaltensweisen, die in den Teilen, aus denen sie bestehen, nicht vorhanden sind.
Nehmen wir zum Beispiel Stromnetze, die Spannungsschwankungen, Leistungsschwingungen und Frequenzabweichungen aufweisen, die nicht in das System hineinkonstruiert wurden. Diese Verhaltensweisen sind keine Störfaktoren in der Maschine oder Nebenprodukte der Komplexität, die toleriert werden müssen. Stromnetze funktionieren zum großen Teil dank ihrer emergenten Eigenschaften. Die Stabilität eines Netzes ist aufgrund seiner selbstorganisierenden Natur möglich. Stromnetze haben eine eingebaute Widerstandsfähigkeit gegen Geräteausfälle, Naturkatastrophen und Cyberangriffe bewiesen, indem sie sich dynamisch an Störungen anpassen und Leistungsflüsse umleiten. Netzwerke können betroffene Gebiete auf natürliche Weise isolieren und die Funktionalität durch redundante Systeme wiederherstellen. Während die Schaffung mehrerer redundanter Pfade für die Energieübertragung in der Tat eine bewusste Anstrengung ist, entstehen die Selbstheilung und die natürliche Isolierung betroffener Gebiete aus dem Zusammenspiel dieser konstruierten Komponenten und nicht aus der expliziten menschlichen Steuerung.
Städte existieren nicht nur durch Planung und bewusste Entscheidungsfindung. Jede Großstadt verdankt ihre Form und Funktion selbstorganisierendem Verhalten. Denken wir zum Beispiel daran, wo sich Unternehmen ansiedeln, basierend auf unzähligen möglichen Variablen, wie z. B. Änderungen der Erreichbarkeit, der Kundendemografie und des dynamischen Wettbewerbs. Die Entstehung eines Gewerbegebiets kann auf höchst unvorhersehbare Weise erfolgen. Straßenmuster und Gebäudedichten ergeben sich aus den kumulativen Auswirkungen geografischer Beschränkungen in Verbindung mit individuellen Entscheidungen und nicht nur aus der zentralen Planung. Städte sind Zentren der Wirtschaftstätigkeit, in denen Güter, Dienstleistungen, Arbeit und Immobilien voneinander abhängig sind und die Strukturen und Verhaltensweisen hervorbringen, die den Städten ihr Aussehen und ihr Gefühl verleihen. Wenn die Bürger organisch interagieren, sehen wir Inseln des Gemeinschaftszusammenhalts und öffentliche Verkehrssysteme, die aus ungeplanten Verkehrsmustern und unvorhergesehenen Mobilitätsbedürfnissen entstehen.
Unsere Finanzsysteme sind das Ergebnis der Vermischung von Einrichtungen, Instrumenten und Marktteilnehmern. Die kollektiven Aktionen von Anlegern, Händlern und Institutionen führen zu Marktpreisen, Handelsvolumen und Volatilität, die weitgehend unvorhergesehen sind. Muster von Angebot und Nachfrage, Anlegerstimmung und Informationsverbreitung vermischen sich, um dieses Ding zu erzeugen, das wir Markt nennen. Die Bestimmung der Preise ist gar nicht so determiniert, sondern ergibt sich aus der Zusammenfassung unterschiedlicher Meinungen, Überzeugungen und Handelsstrategien. Die sich ständig weiterentwickelnden regulatorischen Rahmenbedingungen entstehen aus der Verschmelzung von Bedürfnissen und Prioritäten und bringen eingebaute Stabilität und Integrität in das System. Unsere Finanzsysteme können (in der Regel) Schocks, Störungen und Belastungen standhalten; eine Widerstandsfähigkeit, die nie in das System hineinkonstruiert wurde.
Das Internet führt dank der elektronischen Zusammenführung und Verbreitung unterschiedlicher Meinungen, Überzeugungen und Wissensbestände zur Meinungsbildung und kollektiven Entscheidungsfindung. Als dezentrales Netzwerk miteinander verbundener Geräte weist das Internet die verräterischen Anzeichen von Komplexität auf, wie z. B. Netzwerkskalierbarkeit, Widerstandsfähigkeit und Anpassungsfähigkeit. Online-Communities und soziale Netzwerke entstehen spontan, wenn sich Nutzer an Diskussionen, Kooperationen und kollektiven Aktionen beteiligen. Die Demokratisierung der Erstellung und Verbreitung von Inhalten hat zur Entstehung von viralen Inhalten, Memes, Trends und sogar kulturellen Bewegungen geführt.
Natürlich kann solch ein emergentes Verhalten auch gegen uns arbeiten. Stromnetze können eine kleine Spannungsschwankung oder Frequenzabweichung in einen kaskadierenden Stromausfall verwandeln. Es gibt Blasen, Zusammenbrüche und Feedbackverstärkungen, die die Märkte destabilisieren können. Das ist der Preis der Komplexität. Was komplexe Dinge zum Funktionieren bringt, kann auch Ergebnisse hervorbringen, die für unsere raffinierten Anwendungsfälle ungünstig sind. Der Punkt ist, dass diese Verhaltensweisen nicht bewusst in das System hineinkonstruiert wurden, und keines dieser Systeme würde so funktionieren, wie es funktioniert, ohne seine emergenten Eigenschaften.
Das wohl komplexeste Ding, das die Menschheit geschaffen hat, sind unsere heutigen KI-Systeme, oder genauer gesagt die Modelle, die sie antreiben. Diese basieren auf Techniken des maschinellen Lernens, insbesondere des Deep Learning. Deep Learning wandelt Rohdaten in intelligente Ausgaben wie natürliche Sprachkonversation und Gesichtserkennung um. Aber wie diese Umwandlung stattfindet, ist nicht bekannt, zumindest nicht in der üblichen Weise, wie Wissenschaftler und Ingenieure Dinge erklären. Kein Forscher oder Ingenieur versteht, wie die Eingaben, die KI-Systemen gegeben werden, in die Ausgaben umgewandelt werden, die ihre Version von Intelligenz ermöglichen. Das liegt daran, dass KI nicht so programmiert wird wie herkömmliche Software. Während das Gerüst von KI-Systemen in der Tat regelbasiert ist, ähneln die inneren Details, die intelligente Ausgaben hervorbringen, eher der Art und Weise, wie Stromnetze, Städte und Finanzmärkte ihre wichtigsten Ausgaben erzeugen.
Um zu verstehen, wie Deep Learning funktioniert, müssen wir zunächst neu definieren, was wir unter "wie die Dinge funktionieren" verstehen. Das Wie in unserer Erklärung kann keine deterministische Reihe von Schritten sein, die zeigen, wie Informationen auf bestimmte Weise transformiert werden. Stattdessen können Ingenieure nur das äußere Gerüst programmieren, das einen Prozess in Gang setzt, der schließlich zu dem konvergiert, was benötigt wird.
Die einfachste, wenn auch lockere Analogie zur Beschreibung dessen, was KI tut, beruht auf der Vorstellung, eine Linie an Daten anzupassen. Dies ist ein gängiger Ansatz in der Wissenschaft, um etwas Tieferes als die Daten selbst zu finden. Wenn wir eine Linie an Daten anpassen, versuchen wir, einen allgemeinen Trend zu finden, der uns eine gewisse Vorhersagefähigkeit bezüglich des interessierenden Systems geben könnte. Nehmen wir an, wir tragen Temperatur gegen Eiscremeverkäufe auf. Das Auftragen dieser Werte und die Suche nach einem Trend würde wahrscheinlich eine Linie ergeben, die zeigt, dass höhere Temperaturen mit mehr Eiscremeverkäufen korrespondieren.
Mit dieser Linie in der Hand sind wir nun im Besitz von etwas, das vermutlich Eiscremeverkäufe vorhersagen kann. Wir können uns die Temperatur morgen ansehen und ablesen, wie viel Eiscreme wir bei dieser Temperatur voraussichtlich verkaufen werden. Tatsächlich brauchen wir das Diagramm gar nicht. Da wir eine Linie an Daten angepasst haben und eine Linie als mathematischer Ausdruck dargestellt werden kann, haben wir eine Funktion. Eine Funktion ist etwas, das Eingaben auf Ausgaben abbildet, sodass wir aus einer gegebenen Eingabe einen Wert erzeugen können. In unserem Eiscremebeispiel können wir die Temperatur an einem bestimmten Tag einsetzen und es kommt ein Wert für die Menge an Eiscreme heraus, die wir voraussichtlich verkaufen werden.
Diese Vorstellung, eine Linie an Daten anzupassen, um zu einer Funktion zu gelangen, kann nicht allzu unähnlich dem sein, was unser Verstand tut, wenn er über die Welt lernt. Natürlich verwendet der Verstand keine simplen Linien durch ein niedrigdimensionales Diagramm von Werten, aber das übergeordnete Konzept ist das gleiche. Wir begegnen unserer Welt über unsere Sinne, was dem Sammeln von Daten ähnelt. Diese Daten sind die Rohdaten, die wir verwenden, um mentale Modelle darüber zu erstellen, wie die Dinge funktionieren und was sie bedeuten. Wenn Kinder zum ersten Mal sprechen lernen, entwickeln sie interne latente Modelle in Bezug auf Grammatik, Wortschatz und Satzbau. Die "Funktion", die sie lernen, wandelt Eingaben (die Geräusche, die wir hören) in Ausgaben (die Bedeutung der Wörter) um.
Das ganze Leben ähnelt dem Erlernen von Funktionen, auch wenn diese Funktionen rein abstrakt sind. Wenn wir mit anderen interagieren, nehmen wir soziale Dynamiken wahr und nutzen unsere Erwartungen an Verhalten, Normen und soziale Signale, um uns in komplexen Situationen zurechtzufinden. Es sind unsere mentalen Modelle dieser Situationen, die es uns ermöglichen, die Reaktionen anderer auf das, was wir sagen und tun, vorherzusagen. Wenn wir Auto fahren, implementieren wir unsere Modelle der Straßenführung, der Verkehrsmuster und des Verhaltens anderer Fahrer. Wir antizipieren potenzielle Gefahren und treffen Entscheidungen über Geschwindigkeit, Richtung und Zeitpunkt. Nichts davon wäre ohne eine Reihe interner Funktionen möglich, die Eingaben auf Ausgaben abbilden. Alles Lernen ist wie das "Anpassen von Linien" an Sinnesdaten, um Modelle der Welt um uns herum zu erstellen.
Das Erstellen eines Modells, wie einer Linie, erfordert das Finden von Parametern, da es die Parameter sind, die Modellen ihre Form geben. Parameter sind wie Knöpfe, die gedreht werden, um eine Linie an die Daten anzupassen. Eine gängige Methode ist die Verwendung der linearen Regression, um eine lineare Gleichung an beobachtete Daten anzupassen. Wann immer Sie eine Linie sehen, die durch eine Reihe von Datenpunkten in einem Diagramm verläuft, besteht eine gute Chance, dass lineare Regression im Spiel ist. In diesem Fall passt das Drehen eines Knopfes die Steigung der Linie an und macht die Linie mehr oder weniger steil, während das Drehen eines anderen Knopfes die Linie vertikal neu positioniert. Die richtige Steigung und den richtigen Achsenabschnitt zu bekommen, bedeutet, die bestmögliche Anpassung an die Daten zu bekommen. Mit anderen Worten, das Finden der besten Positionen unserer Knöpfe ist, wie man versucht, die Beziehung zwischen Eingabe (unabhängige Variable) und Ausgabe (abhängige Variable) mithilfe von Daten zu modellieren.
Lineare Regression ist im Wesentlichen ein "Plug and Play"-Ansatz, bei dem die in einem Experiment gesammelten Daten in einen geschlossenen (sauberen und verständlichen) Ausdruck eingesetzt werden, um die Steigung und den Achsenabschnitt zu erzeugen, die zum Anpassen der Linie erforderlich sind. Das bedeutet, dass Parameter nicht so sehr gefunden, sondern direkt berechnet werden.
Lineare Regression ist kein Lernen im eigentlichen Sinne des Wortes. Lineare Regression berechnet ihre Parameterwerte gemäß einer vordefinierten mathematischen Struktur. Wenn wir wirklich die Knöpfe lernen wollen, die definieren, wie eine Funktion Eingaben in Ausgaben umwandelt, dann würden wir keine so drastischen Annahmen darüber treffen, wie eine Funktion aussehen soll. Stattdessen würden wir uns auf das einlassen, was alles echte Lernen erfordert: Versuch und Irrtum. Dies würde beinhalten, zuerst eine zufällige Vermutung über die Parameterwerte abzugeben, zu sehen, wie falsch wir liegen (gemäß einem bestimmten Satz von Kriterien), die Werte anzupassen und es erneut zu versuchen. Wir würden so lange raten, bewerten und anpassen, bis unser Ansatz auf eine Definition einer guten Anpassung konvergiert.
Dies ist es, was maschinelles Lernen, der Computeransatz, der den heutigen KI-Systemen zugrunde liegt, zu tun versucht. Anstatt Daten in eine wohldefinierte Struktur zu zwängen und Parameter direkt zu berechnen, verwendet es große Datenmengen und Iteration, um so lange Vermutungen anzustellen, bis es Konvergenz erreicht. Beim Deep Learning wird ein Modell an Daten angepasst, außer dass es anstelle einer geraden Linie etwas Hochdimensionales ist, das von unseren dreidimensionalen Gehirnen nicht visualisiert werden kann. Die von KI gelernte Funktion ist keine einfache deterministische Abbildung zwischen Eingaben und Ausgaben, sondern ein monströser, verschlungener, unmöglich komplizierter Ausdruck, der Milliarden von Parametern enthält.
Es gibt keine schönen, interpretierbaren Ausdrücke in geschlossener Form in der KI. Wir können ihre Schichten nicht zurückziehen und eine Kausalkette von Schritten freilegen, die Informationen von Eingaben zu Ausgaben transformieren. Dies ist nicht das Reich der Plug-and-Play-Mathematik, dies ist die Welt der iterativen Optimierung und der weichen Entscheidungsfindung, die verwendet wird, um auf eine ähnliche Weise zu lernen, wie Menschen lernen.
Deep Learning stellt also eine sehr andere Philosophie dar, wie man Software erstellt. Da KI keine explizite oder sichtbare Funktion hat, können wir die internen Strukturen, die ihre Ausgaben erzeugen, nicht kennen. Es gibt kein Designen der Innereien einer KI-Maschine, um die Ausgaben zu erzeugen, die wir benötigen. Alles, was wir tun können, ist, einen übergeordneten Prozess in Gang zu setzen, der iterativ versucht, eine Milliarde Knöpfe zu drehen, bis er die Antworten erzeugt, die wir (normalerweise) erwarten.
Die Art und Weise, wie die heutige KI erstellt wird, besteht darin, einzelne künstliche Neuronen zu programmieren, die miteinander verbundene Codeeinheiten sind, die erstellt wurden, um das Verhalten biologischer Neuronen im menschlichen Gehirn nachzuahmen. Biologische Neuronen sind die Art und Weise, wie unser Nervensystem Informationen verarbeitet und über elektrische und chemische Signale überträgt. Jedes Neuron im Gehirn empfängt Signale von anderen Neuronen über Strukturen, die Dendriten genannt werden. Neuronen integrieren diese eingehenden Signale in ihren Zellkörper (Soma) und erzeugen ein Aktionspotential (eine kurze Änderung des elektrischen Potentials), wenn die kombinierte Eingabe einen Schwellenwert überschreitet. Aktionspotentiale breiten sich entlang der Axone aus, die lange Projektionen eines Neurons sind, die elektrische Impulse von seinem Körper wegleiten. Axone sind die primären Übertragungsleitungen des Nervensystems, die dafür verantwortlich sind, Signale zu anderen Neuronen, Muskeln usw. zu tragen.
In weniger Fachjargon bedeutet dies, dass das menschliche Gehirn Informationen zu verarbeiten und so seine Kognition zu erreichen scheint, indem es ein massives Netzwerk von miteinander verbundenen Funktionseinheiten verwendet, die jeweils elektrische Signale in Abhängigkeit von ihrer Interaktion mit benachbarten Einheiten übertragen. Dies ist die Architektur, die das Deep Learning inspiriert, wobei die Funktionseinheiten künstliche Neuronen sind und die Übertragung elektrischer Signale Informationen sind, die in Form von numerischen Werten zwischen Neuronen gesendet werden; Werte, die die Aktivierungsniveaus und Stärken der Verbindungen darstellen.
Die Parameter des Deep Learning sind nicht Dinge wie Steigung und Achsenabschnitt, wie bei unserem linearen Regressionsbeispiel. Die im Deep Learning verwendeten Parameter, die Gewichte und Verzerrungen genannt werden, belaufen sich auf Milliarden und beziehen sich auf die Stärke der Verbindung zwischen Neuronen und das Maß an Flexibilität, das innerhalb jedes Neurons erlaubt ist. Während die Parameter in der linearen Regression dank ihrer sauberen mathematischen Form etwas Bestimmtes bedeuten, ergeben die Parameter in einem Deep-Learning-Modell nur dann Sinn, wenn man das Netzwerk als Ganzes betrachtet.
Wie können Parameter gesetzt werden, ohne einen expliziten mathematischen Ausdruck zu haben? Wie können ihre Werte gefunden werden, wenn es Milliarden davon gibt? Deep Learning tut dies, indem es große Datenmengen durch das System leitet und die Parameterwerte (anfänglich auf Zufallswerte gesetzt) so lange anpasst, bis das gesamte System die Ausgaben erzeugt, die wir benötigen. Dies geschieht mit Optimierungsalgorithmen, bei denen das Modell versucht, die Differenz zwischen der Ausgabe, die es vorhersagt, und der tatsächlich benötigten Ausgabe zu minimieren. Bei der Gesichtserkennung ist die tatsächlich benötigte Ausgabe die Identität des Gesichts (z. B. Bob) und die vorhergesagte Ausgabe die beste Vermutung zu jedem Zeitpunkt (z. B. Bill? Susan?). Das bedeutet, dass Deep Learning sich Problemen nicht durch absichtliche Berechnung nähert, sondern eher durch das Schließen der Lücke zwischen vorhergesagten und tatsächlichen Etiketten, bis sie größtenteils übereinstimmen. Während nicht alle Formen des Deep Learning Etiketten verwenden, ist der grundlegende Ansatz derselbe; das Schließen einer Lücke zwischen dem, was das Modell anfänglich denkt, und dem, was ist.
Dies ist ein Spiel des Ratens und der Iteration, nicht der begründeten Berechnung. Dieser ganzheitlichere Ansatz zum Bauen von Maschinen unterscheidet sich grundlegend davon, wie Software und Statistik im Laufe der Geschichte funktioniert haben. Beim Deep Learning gestehen wir epistemische Unsicherheit ein, indem wir aus dem interessierenden System heraustreten und nur einen übergeordneten Prozess einsetzen, der von selbst konvergiert. Dies ist eine entscheidende Unterscheidung, da sie uns eine wichtige Wahrheit darüber zeigt, wie komplexe Systeme erstellt werden. Wir können keine Komplexität herstellen, indem wir einzelne Dinge zusammensetzen und sie wie einen Verbrennungsmotor verbinden. Während neuronale Netzwerkarchitekturen in Bezug auf die Anzahl und Anordnung künstlicher Neuronen entworfen werden, liegt der Prozess, durch den die Parameter innerhalb des Netzwerks gefunden und gesetzt werden, nicht in unseren Händen.
Deep Learning unterscheidet zwischen internen und externen Parametern. Die Gewichte und Verzerrungen sind die internen Parameter, die die Nutzung und Transformation von Informationen durch das Modell direkt beeinflussen. Es gibt auch Hyperparameter, die außerhalb der Modellarchitektur selbst liegen. Diese können als Einstellungen oder Konfigurationen betrachtet werden, die den Trainingsprozess steuern. Sie umfassen Dinge wie die Lernrate, die Batchgröße, die Anzahl der Epochen und verschiedene Entscheidungen der Netzwerkarchitektur, wie z. B. die Anzahl der Schichten und Neuronen pro Schicht.
Es sind die Hyperparameter, die vom Ingenieur konfiguriert werden, nicht die internen Modellparameter, und doch müssen die internen Modellparameter in eine bestimmte Konfiguration gebracht werden, damit das Modell funktioniert. Dies zeigt, wie anders KI-Engineering ist als alles, was Menschen zuvor gebaut haben. In fast allen anderen Fällen versuchen Menschen, in die Innereien von Systemen zu greifen und bewusste Entscheidungen darüber zu treffen, wie Energie und Informationen durch das System fließen.
Die Leute haben Schwierigkeiten, den Unterschied zwischen deterministischen und nichtdeterministischen Prozessen zu verstehen. Die einzelnen künstlichen Neuronen sind deterministische Codeabschnitte, da dieselben Eingaben und Gewichte immer dieselbe Ausgabe erzeugen. Dies macht sie inline mit der traditionellen, regelbasierten Computerprogrammierung. Wenn diese Neuronen jedoch in der Summe zusammenarbeiten, ist das Verhalten des neuronalen Netzwerks kaum deterministisch, insbesondere während der Trainingsphase. Dies ist der kritische Übergang, der in wirklich komplexen Objekten stattfindet. Es besteht eine tiefe Diskrepanz zwischen den Teilen, aus denen etwas besteht, und den Eigenschaften, die seine Struktur und sein Verhalten definieren.
Wenn Informationen durch mehrere Schichten künstlicher Neuronen fließen, von denen jede ihren eigenen Teil der Nichtlinearität anwendet, lernt das Netzwerk hochkomplexe und nichtlineare Abbildungen von Eingaben zu Ausgaben. Welcher deterministische (regelbasierte) Code auch immer im kleinen Maßstab verwendet wird, bringt im größeren Maßstab etwas ganz anderes hervor. Solch eine Komplexität entfesselt die charakteristische Fähigkeit komplexer Objekte, die natürliche Welt auf eine viel tiefere und realistischere Weise widerzuspiegeln, als alles, was Menschen selbst entwerfen könnten.
Dies ist, wie KI-Systeme Anzeichen echter Komplexität zeigen, und warum der Ansatz, der zum Bauen von KI verwendet wird, mit der Art und Weise übereinstimmt, wie die Natur baut. Die Anhäufung vieler kleiner deterministischer Nichtlinearitäten zu einem aggregierten Nichtdeterminismus ist das, was wir in den feuchten, schleimigen und dynamischen Objekten der Natur sehen. Dies soll nicht sagen, dass die heutige KI auf Augenhöhe mit den Lösungen der Natur ist, sondern nur, dass sie die Struktur und das Verhalten natürlicher Komplexität widerspiegelt und davon spricht, was passiert, wenn man einen Ansatz von außen nach innen zum Bauen von Dingen wählt. Dies ist der einzige Weg, wie kategorisch schwierige Probleme gelöst werden können. Man muss aus dem internen Funktionieren eines Systems heraustreten und es von selbst konvergieren lassen, wobei man zulässt, dass sich die Interna auf natürliche Weise setzen.
Deshalb wird Deep Learning als eine Art Alchemie betrachtet. Das macht viele unbehaglich, besonders traditionellere Ingenieure. Es gibt eine laufende Anstrengung, KI mathematisch zu erklären, was nach dem Reduktionismus und Determinismus riecht, der direkt gegen die Komplexität arbeitet. Ich werde dieses Problem später näher erläutern.
Deep-Learning-Modelle sind Objekte, die an echte Komplexität grenzen, weil ihre Funktionalität auf Eigenschaften beruht, die von uns nie in das System eingebracht wurden. In gewisser Weise wurden Dinge wie Städte, Finanzmärkte und KI überhaupt nicht geschaffen, sondern sie fielen aus den unzähligen Interaktionen kleinerer Dinge heraus, die dem größeren Ding, zu dem sie führten, überhaupt nicht ähnelten.
Wichtiger als die Frage, ob KI-Systeme wirklich komplex sind, ist die Tatsache, dass KI-Engineering unser bestes Beispiel dafür ist, dass Menschen unter einem völlig anderen Paradigma bauen. Deep Learning stellt den ersten bewussten Versuch von Menschen dar, nicht so zu bauen, wie Menschen es immer getan haben. Während die Entstehung von Stromnetzen, Städten, Märkten und dem Internet erst später erkannt wurde, verfolgte Deep Learning von Anfang an ein grundlegend anderes Paradigma. Deep Learning ist möglich, weil es nicht versucht, einem Computer anzuweisen, wie er seine Aufgaben ausführen soll.
Ob der heutige Ansatz zur KI eine echte künstliche allgemeine Intelligenz (AGI) erreicht oder nicht, ist nicht der Punkt. Deep Learning ist ein Zeichen für das, was kommt. Deep Learning repräsentiert die Art von Engineering, die neu definiert, wie Menschen Dinge bauen. Wir wissen, dass wir unsere herausragendsten Herausforderungen nicht mit dem deterministischen Engineering unserer Vorfahren lösen können.
Dies ist nicht nur eine Verschiebung in der Art und Weise, wie wir Dinge bauen. Es geht an den Kern dessen, wie unsere Welt derzeit Wissen, Fähigkeiten und die Fähigkeit von Einzelpersonen definiert, zur Wirtschaft beizutragen. Unsere Welt basiert auf dem Begriff des Designs, weil es beim Design darum geht, in die Innereien von Systemen zu greifen und das, was wir sehen, zu nutzen, um den nächsten Schritt zu tun. Design bildet die Anstrengungen von Bauherren auf bereits bestehende Strukturen ab. So baut die Natur nicht.
Das gesamte Gebäude des designbasierten Bauens, das der heutigen Wirtschaft zugrunde liegt, und die Fähigkeit der Menschen, dazu beizutragen, erfordert eine massive Überholung. Um den Nichtdeterminismus zu akzeptieren, der erforderlich ist, um im Zeitalter der Komplexität zu erschaffen, brauchen wir einen völlig anderen Ansatz. Dieser neue Ansatz muss in einer Position verwurzelt sein, die diametral entgegengesetzt zu der Art und Weise ist, wie wir derzeit erwarten, Dinge zu bauen.
Es gibt eine grundlegende Richtungsabhängigkeit, wie Komplexität funktioniert, und sie ist entgegengesetzt zu dem, was uns die akademische Erzählung sagt. Es sind nicht die Fundamente, die zu guten Dingen führen, sondern es ist die Vermischung, das Chaos und die Unsicherheit, die die Strukturen hervorbringen, die wir am Ende in unseren Lehrbüchern kodifizieren. Einfacher ausgedrückt: Die Grundlagen, die Strukturierung, das Design, von denen uns gesagt wird, dass wir sie von Anfang an in ein Projekt einbringen sollen, wirken sich direkt gegen das aus, was für das Entstehen der richtigen Strukturen benötigt wird.
Ein Zurücksetzen der Art und Weise, wie wir Dinge bauen, das Definieren eines angemessenen Begriffs von Verdienst und die Gestaltung einer Wirtschaft im Einklang mit der erforderlichen Verschiebung erfordert eine Entmystifizierung der Emergenz. Dies erfordert die Darlegung einer konzeptionell prägnanten Beschreibung dessen, was Emergenz ist; eine, die mit bekannten wissenschaftlichen Eigenschaften von Information, Berechnung und Evolution übereinstimmt.
Ich habe keine solche Darstellung gefunden. Trotz laufender Versuche heutiger Wissenschaftler, Emergenz zu erklären, scheitern alle aus dem gleichen Grund (einschließlich derer, die von vielen "Komplexitätswissenschaftlern" gemacht werden). Sie alle versuchen, Emergenz innerhalb des aktuellen wissenschaftlichen Paradigmas zu erklären. Einerseits sollte das nicht allzu überraschend sein, denn wie sonst sollte man Papiere veröffentlichen? Aber das führt unweigerlich zu der Art von Reduktionismus, der der Komplexität entgegenwirkt.
Komplexität braucht eine andere Art von Erklärung, als sie in den Annalen der Wissenschaft und Technik zu finden ist. Keine Erklärung der Kausalität, sondern der Eigenschaften. Die Art von Erklärung, die nicht in die Innereien von Systemen greift und veraltete Vorstellungen von Durchschnitten und Renormierung auf ihre Teile anwendet. Solche Erklärungen suggerieren fälschlicherweise, dass das, was wir auf hoher Ebene beobachten, nur eine verschmierte, verschwommene Version dessen ist, was wir auf niedrigerer Ebene sehen. Solche Versuche sind durchdrungen von veralteten Vorstellungen von Ursache und Wirkung und Pfaden, die erfolglos versuchen, Komplexität in die Linearität und den Determinismus einfacher Systeme zu zwingen.
Stattdessen können wir Komplexität als das unvermeidliche Ergebnis physikalischer Systeme betrachten, die ihre schwierigen Probleme lösen, indem sie sich von selbst in organisierten Konfigurationen einpendeln. Wir müssen uns nicht auf Theorien berufen, die Materie durch strenge Ursache und Wirkung zusammenrufen. Noch müssen wir ein schlecht definiertes Argument heraufbeschwören, das versucht, unsere Wissenslücken mit bedeutungslosen abstrakten Beschreibungen zu füllen. Keine kausale Erklärung für etwas zu haben, bedeutet nicht, dass es nicht erklärt werden kann. Es können Mechanismen aufgedeckt werden, die den Eigenschaften und Einschränkungen natürlicher Systeme entsprechen, ohne Märchen darüber zu erfinden, wie Teile an Teile stoßen.
Der erste Schritt zu einer Lösung der Hürde, die der Fortschritt durch Abstraktion angesichts der Komplexität darstellt, liegt auf der Hand. Der Mensch hat sich immer von der Natur inspirieren lassen. Die meisten Dinge, die wir bauen, haben ein Gegenstück in den natürlichen Systemen, die uns umgeben. Es ist die Natur, die uns wissen lässt, was möglich ist. Aber die Natur als unsere Muse zu benutzen, reicht nicht mehr aus. Die Natur sagt uns viel mehr als nur, was möglich ist. Wenn wir einen Schritt zurücktreten, unsere Abhängigkeit von Reduktionismus und Determinismus ablegen und Komplexität so akzeptieren, wie sie ist, können wir auch lernen, wie die Natur ihre komplexen Lösungen hervorbringt. Wir können lernen, so zu bauen, wie die Natur baut. Ja, das ist es eigentlich... ziemlich spannend, oder? So, das war's für heute. Bis zum nächsten Mal, vielleicht.