Lexikon

Parallelrechner und wissenschaftliches Rechnen

Viele ingenieur- und naturwissenschaftliche Fragestellungen lassen sich ohne hohe Rechenleistung nicht beantworten. Unter dem Schlagwort „Grand Challenges" z.B. werden eine Reihe von Problemen des wissenschaftlichen Rechnens angesprochen, die eine Rechenleistung von mehr als 10**12 MFlops und einen Arbeitsspeicher von mehr als 10**12 Bytes erfordern. Parallelrechner besitzen mehrere Verarbeitungseinheiten und ein leistungsstarkes Verbindungssystem, so daß alle Verarbeitungseinheiten gleichzeitig zur Lösung einer Aufgabe beitragen können. Mit einem Parallelrechner könnte also im Prinzip die verfügbare Rechenleistung beliebig gesteigert werden.

J. L. Hennessy, D. A. Patterson: "However, progress in building and using effective and efficient parallel processors has been slow. This rate of Progress has been limited by difficult software problems as well As by a long process of evolving architecture of multiprocessors to enhance usability and improve efficiency. ... The use of parallel processing in some domains is beginning to be understood. Probably first among these IS the domain of scientific and engineering computation. This application domain has an almost limitless thirst for more computation."

Das sogenannte Flynnsche Schema klassifiziert Rechnerarchitekturen nach der Anzahl der vorhandenen Datenströme (SD/MD single/multiple data stream) und der Anzahl der vorhandenen Instruktionsströme (SI/MI Single/multiple instruction stream). Daraus lassen sich die Kombinationen SISD, SIMD und MIMD bilden. Zu den SIMD-Rechnern zählen die Vektorrechner und die Feldrechner; zu den MIMD-Rechner zählen:

  • UMA-Architekturen mit einem zentralen Speicher, wobei die Speicherzugriffszeit für alle Prozessoren, unabhängig vom Ort des Zugriffs, dieselbe ist (Uniform Memory Access)
  • NUMA-Architekturen mit einem physikalisch verteilten gemeinsamen Speicher; die Zugriffsgeschwindigkeit hängt vom Ort des Zugriffs ab (Non-Uniform Memory Access) und
  • NORMA-Architekturen; die Prozessoren besitzen unterschiedliche lokale Adreßräume. Jeder Prozessor kann somit nur auf seinen lokalen Speicher direkt zugreifen (NO-RemoteMemory-Access). Die Kommunikation unter den Prozessoren geschieht durch Botschaftenaustausch.

Datenflußrechner sind Parallelrechner gänzlich anderer Architektur. Sie realisieren Nebenläufigkeit auf Instruktionsebene nach dem Datenflußprinzip, das inzwischen auch in die Mikroarchitektur der Mikroprozessoren Eingang gefunden hat.

Als Beispiel für die strukturelle Vielgestaltigkeit heutiger Parallelrechner sei kurz die Architektur der SPP-Rechner der Firma Convex vorgestellt. Ein SPP-Rechner besteht aus bis zu 64 Rechnerknoten vom NUMA-Typ, also selbst Parallelrechnern, die über ein globales Verbindungsnetzwerk verbunden sind. Abb. 1 zeigt den Aufbau dieser Knoten, Hypernodes genannt. Jeder Hypernode enthält vier CPUs mit privatem Speicher und Instruktions-Cache. Ein sogenannter CPU-Agent bildet die Schnittstelle zum lokalen Verbindungsnetzwerk, das ein Bus oder ein Kreuzschienenverteiler sein kann. Jeder Hypernode enthält außerdem neben einem privaten auch einen global zugänglichen Speicher.

Literatur

  1. Choi J., Dongarra J. J. et al.: Constructing Numerical Software Libraries for High-Performance Computing Environments, First Int. Workshop "Parallel Scientific Computing", PARA 94, June 1994
  2. Choi J., Dongarra J. J. et al.: ScaLAPACK reference manual, Technical Memorandum ORNL/TM-12470, Oak Ridge National Laboratory, Oak Ridge, 1994
  3. David K.: High Performance Computing, O’Reilly, 1993
  4. Golub G., Ortega J. M.: Scientific Computing – An Introduction with Parallel Computing, Academic Press, 1993
  5. Hennesy J. L., Patterson D. A.: Computer Architecture – a quantitative approach, M. Kaufman Pub., zweite Auflage, 1995.
  6. Waldschmidt K. (Hrsg.): Parallelrechner: Architekturen – Systeme – Werkzeuge, Teubner Verlag, 1995

Autor und Copyright

M. Dal Cin, S. Kindermann 
Institut für Mathematische Maschinen und Datenverarbeitung, 
Universität Erlangen-Nürnberg, 
Martensstraße 3, 
D-91058 Erlangen

© 1996 Informatik Spektrum, Springer-Verlag Berlin Heidelberg