Parallelrechner und wissenschaftliches Rechnen

Viele ingenieur- und naturwissenschaftliche Fragestellungen lassen sich ohne hohe Rechenleistung nicht beantworten. Unter dem Schlagwort "Grand Challenges" z.B. werden eine Reihe von Problemen des wissenschaftlichen Rechnens angesprochen, die eine Rechenleistung von mehr als 10**12 MFlops und einen Arbeitsspeicher von mehr als 10**12 Bytes erfordern. Parallelrechner besitzen mehrere Verarbeitungseinheiten und ein leistungsstarkes Verbindungssystem, so daß alle Verarbeitungseinheiten gleichzeitig zur Lösung einer Aufgabe beitragen können. Mit einem Parallelrechner könnte also im Prinzip die verfügbare Rechenleistung beliebig gesteigert werden.

J. L. Hennessy, D. A. Patterson: "However, progress in building and using effective and efficient parallel processors has been slow. This rate of Progress has been limited by difficult software problems as well As by a long process of evolving architecture of multiprocessors to enhance usability and improve efficiency. ... The use of parallel processing in some domains is beginning to be understood. Probably first among these IS the domain of scientific and engineering computation. This application domain has an almost limitless thirst for more computation."

Das sogenannte Flynnsche Schema klassifiziert Rechnerarchitekturen nach der Anzahl der vorhandenen Datenströme (SD/MD single/multiple data stream) und der Anzahl der vorhandenen Instruktionsströme (SI/MI Single/multiple instruction stream). Daraus lassen sich die Kombinationen SISD, SIMD und MIMD bilden. Zu den SIMD-Rechnern zählen die Vektorrechner und die Feldrechner; zu den MIMD-Rechner zählen:

• UMA-Architekturen mit einem zentralen Speicher, wobei die Speicherzugriffszeit für alle Prozessoren, unabhängig vom Ort des Zugriffs, dieselbe ist (Uniform Memory Access)
• NUMA-Architekturen mit einem physikalisch verteilten gemeinsamen Speicher; die Zugriffsgeschwindigkeit hängt vom Ort des Zugriffs ab (Non-Uniform Memory Access) und
• NORMA-Architekturen; die Prozessoren besitzen unterschiedliche lokale Adreßräume. Jeder Prozessor kann somit nur auf seinen lokalen Speicher direkt zugreifen (NO-RemoteMemory-Access). Die Kommunikation unter den Prozessoren geschieht durch Botschaftenaustausch.

Datenflußrechner sind Parallelrechner gänzlich anderer Architektur. Sie realisieren Nebenläufigkeit auf Instruktionsebene nach dem Datenflußprinzip, das inzwischen auch in die Mikroarchitektur der Mikroprozessoren Eingang gefunden hat.

Als Beispiel für die strukturelle Vielgestaltigkeit heutiger Parallelrechner sei kurz die Architektur der SPP-Rechner der Firma Convex vorgestellt. Ein SPP-Rechner besteht aus bis zu 64 Rechnerknoten vom NUMA-Typ, also selbst Parallelrechnern, die über ein globales Verbindungsnetzwerk verbunden sind. Abb. 1 zeigt den Aufbau dieser Knoten, Hypernodes genannt. Jeder Hypernode enthält vier CPUs mit privatem Speicher und Instruktions-Cache. Ein sogenannter CPU-Agent bildet die Schnittstelle zum lokalen Verbindungsnetzwerk, das ein Bus oder ein Kreuzschienenverteiler sein kann. Jeder Hypernode enthält außerdem neben einem privaten auch einen global zugänglichen Speicher.