Die Philosophie der Psychologie

Parallel Distributed Processing

Repräsentation und Verarbeitung

Wie klassische Computer sind PDP-Systeme Repräsentationsprozessoren: Sie empfangen Repräsentationen als Eingaben und liefern Repräsentationen als Ausgaben. Klassische Computer manipulieren auch interne Repräsentationen. PDP-Systeme tun dies möglicherweise, müssen es aber nicht. In jedem Fall unterscheidet sich Repräsentation in konnektionistischen Netzwerken grundlegend von Repräsentation in klassischen Computern. Ich werde diesen Unterschied erläutern.

Eine Repräsentation ist eine physische Konfiguration mit einer Bedeutung oder semantischen Interpretation. Es gibt zwei Arten der semantischen Interpretation, die auf konnektionistische Systeme anwendbar sind, genannt lokalistisch und verteilt. Streng genommen qualifizieren sich nur verteilte Systeme für das D in PDP, doch lokalistische Systeme sind ebenfalls bedeutsam. Wir beginnen mit lokalistischen Systemen und wenden uns dann den verteilten zu.

In einem lokalistischen System erhalten spezifische, einzelne Einheiten eine explizite semantische Interpretation. Man stelle sich vor, ein Netzwerk dient zur Speicherung und Abfrage von Informationen über Mitglieder rivalisierender Gangs, der Jets und der Sharks. Es gibt Einheiten, die einzelne Mitglieder repräsentieren, sowie andere Einheiten, die deren Eigenschaften wie Name, Familienstand oder Alter darstellen. Außerdem existiert ein Paar von Einheiten für die Gangzugehörigkeit: eine für die Jets, eine für die Sharks. Jede Mitglieder-Einheit ist durch wechselseitig exzitatorische Verbindungen mit den Einheiten verbunden, die ihre Eigenschaften und Zugehörigkeit darstellen. Knoten, die sich gegenseitig ausschließende Eigenschaften repräsentieren, wie verheiratet, ledig oder geschieden, sind durch wechselseitig inhibitorische Verbindungen verbunden.

Informationen lassen sich auf verschiedene Weise abrufen. Zum Beispiel sind sowohl die Einheit für Art als auch die Einheit für die Jets Eingabeeinheiten und können von außen aktiviert werden. Die Stimulation einer der beiden Einheiten erhöht die Aktivierung der anderen. So könnte man die Jet-Einheit aktivieren, um die Namen der Gangmitglieder zu erfahren, und erhielte Art als Beispiel. Oder man stimuliert die Einheit Art, um mehr über dieses Mitglied zu erfahren, wobei sich herausstellt, dass er ein Mitglied der Jets ist.

Lokalistische PDP-Systeme unterscheiden sich stark von klassischen Systemen, sowohl hinsichtlich der Art der Repräsentationen als auch der Art der Verarbeitung. Klassische Repräsentationen sind syntaktisch strukturiert: Komplexe Repräsentationen bestehen aus atomaren auf vollständig systematische und bestimmte Weise. Wenn ein klassisches System beispielsweise weiß, dass Mary schwimmt und John läuft, könnte dies in einer Repräsentation kodiert sein, die dem englischen Satz „Mary swims and John runs“ ähnelt. Diese Repräsentation enthält drei Hauptbestandteile: „Mary swims“, „and“ und „John runs“. Zwei dieser Bestandteile sind wiederum komplex, bestehend aus „Mary“, „swims“, „John“ und „runs“. In einem lokalistischen PDP-System besteht jede explizite Repräsentation lediglich aus einer einzelnen Einheit ohne syntaktische Struktur. Die Komplexität der semantischen Interpretation einer Repräsentation spiegelt sich also nicht in der Struktur der Repräsentation selbst wider. Wenn eine einzelne Einheit bedeutet, dass Mary schwimmt und John läuft, könnten wir den Satz „Mary swims and John runs“ zur Spezifizierung ihrer Interpretation verwenden, wobei die syntaktische Struktur nur in unserer Beschreibung der Repräsentation existiert, nicht in der Repräsentation selbst.

Dieser Unterschied in der Natur der Repräsentationen bringt einen entscheidenden Unterschied in der Verarbeitung mit sich. In klassischen Systemen ist die syntaktische Struktur der Repräsentationen entscheidend für die Art, wie das System auf sie wirkt. Die Operationen reagieren empfindlich auf die Struktur und hängen von ihr ab. Würde das System von „Mary schwimmt und John läuft“ auf „John läuft“ schließen, geschähe dies genau, weil es auf die syntaktische Struktur der ersten Repräsentation reagiert. Es reagiert auf sie als Instanz der allgemeinen Form „P und Q“. Lokalistische PDP-Systeme können offensichtlich nicht auf diese Weise arbeiten, da ihre Repräsentationen keine syntaktische Struktur besitzen. Die Verarbeitung wird vielmehr in einer anderen Terminologie beschrieben: der Terminologie von Aktivierungsniveaus und gewichteten Verbindungen.

Beim Jets-und-Sharks-Netzwerk könnte man den Eindruck gewinnen, dass strukturierte Repräsentationen erkennbar sind. So könnte man die exzitatorischen Verbindungen zwischen den Einheiten Art und Jet als Repräsentation der Tatsache ansehen, dass Art ein Jet ist. Wir hätten somit zwei Repräsentationen, die Art- und Jet-Einheiten, die zusammen eine komplexe bilden. Dieser Eindruck ist in gewisser Hinsicht korrekt, denn das Netzwerk enthält implizit viele Informationen. Doch die Sache ist weniger eindeutig, als sie scheint. Die Eigenschaft des Systems, die implizit die Information enthält, dass Art ein Jet ist, besteht nicht nur aus den exzitatorischen Verbindungen zwischen diesen beiden Einheiten, sondern aus dem gesamten Muster der Konnektivität im System. Die Art- und Jet-Einheiten sind jeweils mit vielen anderen Einheiten verbunden, sodass trotz der wechselseitigen exzitatorischen Verbindungen ihre Aktivierungen prinzipiell nicht korreliert sein müssten. Dies liegt daran, dass der Einfluss anderer verbundener Einheiten ihre wechselseitigen exzitatorischen Einflüsse überwiegen könnte. Somit bewahrt das Gesamtkonnektivitätsmuster die Beziehung zwischen den beiden Einheiten, nicht nur die direkten Verbindungen. Außerdem trägt dieses Gesamtmuster alle im Netzwerk impliziten Informationen. Dass Art ledig ist, dass Sam ein Jet ist, dass die meisten Jets ledig sind, all diese Informationen sind implizit im Gesamtmuster enthalten. Es gibt keine echte syntaktische Struktur in dieser Art der Informationsspeicherung.

Die implizite Information im Jets-und-Sharks-Netzwerk ist tatsächlich verteilt, nicht lokal. In einem verteilten System sind es nicht einzelne Einheiten, sondern Zustände des gesamten Netzwerks oder Cluster von Einheiten, die semantisch interpretiert werden.

Wenden wir uns nun allgemein der verteilten Repräsentation in PDP-Systemen zu und betrachten weiter die Unterschiede zwischen klassischer und verteilter konnektionistischer Repräsentation. Beginnen wir mit einem Beispiel klassischer Systeme.

Stellen wir uns eine Maschine vor, die die mathematische Funktion n³ berechnet. Bei der Eingabe 3 liefert sie 27, bei der Eingabe 4 liefert sie 64 und so weiter. Angenommen, die Maschine verfügt über drei Teilprozessoren und arbeitet folgendermaßen: Ein Teilprozessor berechnet aus n eine Repräsentation von n². Ein zweiter Prozessor arbeitet parallel und leitet die Eingabe n weiter. Die Ausgaben der beiden Prozessoren, n² und n, fließen dann in den dritten Prozessor, der die Repräsentation des Produkts von n² und n erzeugt.

In diesem klassischen System wird die Interpretation der Zwischenrepräsentationen durch ihre Rolle in der Berechnung bestimmt. Das System löst das größere Problem n³, indem Teilprozessoren kleinere Probleme lösen und die Ergebnisse kombinieren. Diese hierarchische Zerlegung ist charakteristisch für klassische Computer: Ein klassischer Computer besteht meist aus kleineren Computern mit eigenen Ein- und Ausgaben, die intern nach ihrer Rolle interpretiert werden. Selbst wenn die Maschine auf natürliche Weise entstanden wäre, müssten die internen Repräsentationen als n² und n interpretiert werden, um das System als klassisch zu verstehen.

Bei der Interpretation der verborgenen Einheiten in einem PDP-System verhält es sich anders. Zunächst werden die Verbindungsgewichte nicht von einem Programmierer, sondern durch einen Trainingsprozess, wie Backpropagation, festgelegt. Die Rollen der verborgenen Einheiten ergeben sich somit aus dem Training und sind nicht vorgegeben. Es gibt daher keine Garantie, dass sie semantisch interpretierbar sind, und oft sind sie es auch nicht. Das Verständnis des Systems erfolgt vielmehr über Aktivierungsniveaus, Verbindungsgewichte und ähnliche Größen. Statt einer hierarchischen Zerlegung, die zeigt, wie das System Teilprobleme repräsentiert, finden sich viele Einheiten, die gegenseitig ihre Aktivierung beeinflussen.

In manchen Fällen lassen sich Aktivierungen verborgener Einheiten interpretieren, jedoch nicht auf klassische Weise. Dies geschieht manchmal durch sogenannte Mikromerkmale. Eine Gruppe von Einheiten, die Kaffee repräsentiert, könnte beispielsweise vier Einheiten umfassen, die heißes Getränk, verbrannten Geruch, braune Flüssigkeit in Kontakt mit Porzellan und braune Flüssigkeit mit gewölbten Seiten darstellen. Der entscheidende Unterschied zur klassischen Repräsentation liegt darin, dass diese keine syntaktische Struktur besitzt. Die Repräsentation ist über mehrere Einheiten verteilt, doch bilden diese keine syntaktischen Bestandteile. Die Einheiten für verbrannten Geruch und heißes Getränk sind beispielsweise keine syntaktischen Bestandteile der Kaffee-Repräsentation, ebenso wie „burn“, „to“ und „ur“ keine syntaktischen Bestandteile des englischen Ausdrucks „burnt odour“ sind.

Das Fehlen syntaktischer Struktur führt zum Fehlen einer kompositionellen Semantik. In klassischen Systemen ergibt sich die Bedeutung eines Komplexes vollständig aus der Bedeutung der Bestandteile und ihrer Kombination. Bei verteilten Repräsentationen ist dies nicht der Fall. Dies gilt besonders, wenn die Komponenteinheiten keine eigene Bedeutung haben, aber auch, wenn sie Mikromerkmale darstellen. Es gibt keine festen Regeln, um die Bedeutung des Ganzen aus den Bedeutungen der Komponenten zu bestimmen, und die Interpretation ist stark kontextabhängig. In obigem Beispiel nehmen wir die Einheiten für heißes Getränk, braune Flüssigkeit auf Porzellan usw. als Kaffee wahr, weil weitere Einheiten auf aufrechte Behälter und griffgroße Henkel verweisen. In einem anderen Kontext könnten dieselben Mikromerkmale für Bratensoße oder Schokoladensoße stehen. Zudem wäre in anderen Kontexten eine andere Mikro-Repräsentation von Kaffee passend, etwa Kaffeepulver in einer Dose oder Kaffeebohnen in einer Papiertüte.