Dies ist ein als lesenswert ausgezeichneter Artikel.

Gaußsches Eliminationsverfahren

aus Wikipedia, der freien Enzyklopädie
Dies ist eine alte Version dieser Seite, zuletzt bearbeitet am 13. Juli 2007 um 10:22 Uhr durch Trinityfolium (Diskussion | Beiträge) (Artikel ist lesenswert, Glückwunsch!). Sie kann sich erheblich von der aktuellen Version unterscheiden.
Zur Navigation springen Zur Suche springen

Das Gauß'sche Eliminationsverfahren oder einfach Gauß-Verfahren (nach Carl Friedrich Gauß) ist ein Algorithmus aus den mathematischen Teilgebieten der linearen Algebra und der Numerik. Es ist ein wichtiges Verfahren zum Lösen von linearen Gleichungssystemen und beruht darauf, dass elementare Umformungen zwar das Gleichungssystem ändern, aber die Lösung erhalten. Dies erlaubt es, jedes Gleichungssystem auf Stufenform zu bringen, an der die Lösung durch sukzessive Elimination der Unbekannten leicht ermittelt werden kann oder die Lösungsmenge abgelesen werden kann.

Die Anzahl der benötigten Operationen ist von der Größenordnung bei einer -Matrix. In seiner Grundform ist der Algorithmus anfällig für Rundungsfehler, aber mit kleinen Modifikationen (Pivotisierung) stellt er für allgemeine lineare Gleichungssysteme das Standardlösungsverfahren dar und ist Teil aller wesentlichen Programmbibliotheken für numerische lineare Algebra wie NAG, IMSL und LAPACK.

Erklärung

Ein lineares Gleichungssystem mit drei Gleichungen und drei Unbekannten (, , ) und rechter Seite hat die Form:

Der Algorithmus zur Berechnung der Variablen , und lässt sich in zwei Etappen einteilen:

  1. Vorwärtselimination,
  2. Rückwärtseinsetzen (Rücksubstitution).

Im ersten Schritt wird das Gleichungssystem auf Stufenform gebracht. Stufenform heißt, dass pro Zeile mindestens eine Variable weniger auftritt, also mindestens eine Variable eliminiert wird. Im obigen Gleichungssystem würde man , und eliminieren, in der dritten Zeile ist dann nur noch die Variable :

Zum Erreichen der Stufenform werden elementare Zeilenumformungen benutzt, mit Hilfe derer das Gleichungssystem in ein neues transformiert wird, welches aber dieselbe Lösungsmenge besitzt. Ausreichend sind zwei Arten von elementaren Zeilenumformungen:

  1. Eine Zeile oder das Vielfache einer Zeile zu einer anderen Zeile dazu addieren.
  2. Vertauschung von zwei Zeilen.

Das Verfahren besteht dann darin, angefangen in der ersten Spalte mit Umformungen der ersten Art durch geschicktes Dazuaddieren der ersten Zeile alle Einträge bis auf den ersten zu Null zu machen. Dies wird dann in der so modifizierten zweiten Spalte fortgesetzt, wobei diesmal Vielfache der zweiten Zeile zu den folgenden Zeilen addiert werden und so weiter. Dieser Schritt funktioniert nur, wenn das Diagonalelement der aktuellen Spalte nicht Null ist. In so einem Fall ist die zweite Art der Zeilenumformung nötig, da durch eine Zeilenvertauschung ein Nichtnulleintrag auf der Diagonale erzeugt werden kann. Mit Hilfe dieser beiden Arten von Umformungen ist es möglich, jedes lineare Gleichungssystem auf Stufenform zu bringen.

Eine weitere Art der elementaren Zeilenumformung ist das Vertauschen von Spalten. Diese wird zur Durchführung des Algorithmus nicht benötigt, aber manchmal in Computerprogrammen aus Stabilitätsgründen eingesetzt. Dabei wird die Position der Variablen im Gleichungssystem geändert. Beim Rechnen per Kopf ist manchmal noch die Multiplikation einer Zeile mit einer Zahl nützlich, etwa um komplizierte Brüche zu vermeiden. Dies verursacht zusätzlichen Rechenaufwand und ist deswegen in Computerprogrammen keine Option und ändert ferner die Determinante der Koeffizientenmatrix, was theoretische Nachteile mit sich birgt.

Im zweiten Schritt des Verfahrens, dem Rückwärtseinsetzen, werden ausgehend von der letzten Zeile, in der nur noch eine Variable auftaucht, die Variablen ausgerechnet und in die darüberliegende Zeile eingesetzt.

Eine Alternative hierzu ist der Gauß-Jordan-Algorithmus, bei dem nicht nur die unteren Teile eliminiert werden, sondern auch die oberen, so dass eine Diagonalform entsteht, bei der dann der oben genannte zweite Schritt entfällt.

Beispiel

  1. , hier: , , und

Zur besseren Übersichtlichkeit werden in der Regel nur die Koeffizienten des linearen Gleichungssystems in der erweiterten Koeffizientenmatrix geschrieben:

Datei:Gausselimlgs.PNG

Jetzt wird so umgeformt, dass und Null werden, indem man geeignete Vielfache der ersten Gleichung zur zweiten und dritten Gleichung addiert. Den entsprechenden Multiplikator erhält man, indem man das Element, was elimiert werden soll (als erstes ), durch die Zahl teilt, die sich in der Spalte auf der Diagonale befindet (hier: und ). Da das Element verschwinden soll, muss die Zahl noch mit multipliziert werden, so dass sie negativ wird.

Zur zweiten Zeile wird das -fache und zur dritten Zeile das -fache von der ersten Zeile addiert. Damit Null wird, wird ein Vielfaches der zweiten Zeile zur dritten Zeile addiert, in diesem Fall das -fache:

Falls die Zahl, durch die zur Berechnung des Multiplikators dividiert wird (hier für die ersten beiden Zeilen die Zahl , beim dritten Mal die Zahl ), Null ist, wird diese Zeile mit einer weiter unten liegenden vertauscht. Die letzte Zeile bedeutet

.

Diese Gleichung ist einfach lösbar und liefert . Damit ergibt sich für die zweite Zeile

, also

und weiter . Damit sind alle Variablen berechnet:

, und .

Kontrolle durch Zeilensumme

Die Umformungen können durch das Berechnen der Zeilensumme kontrolliert werden.

Hier wurde in der letzten Spalte die Summe aller Elemente der jeweiligen Zeile addiert. Für die erste Zeile ist die Zeilensumme . Da an der ersten Zeile keine Umformungen durchgeführt werden ändert sich ihre Zeilensumme nicht. Bei der ersten Umformung dieses Gleichungssystems wird zur zweiten Zeile das -fache der ersten addiert. Macht man das auch für die Zeilensumme, so gilt . Dieses Ergebnis ist die Zeilensumme der umgeformten zweiten Zeile . Zur Überprüfung der Rechnungen kann man also die Umformungen an der Zeilensumme durchführen. Sind alle Rechnungen korrekt, muss sich die Zeilensumme der umgeformten Zeile ergeben.

Pivotisierung

Der Gauß-Algorithmus ist im Allgemeinen nicht ohne Zeilenvertauschungen durchführbar. Ersetzt man im obigen Beispiel durch so kann der Algorithmus ohne Zeilenvertauschung gar nicht starten. Zur Abhilfe wählt man ein Element der ersten Spalte der Koeffizientenmatrix, das so genannte Pivotelement, welches ungleich 0 ist.

Wahl des Pivot
b
0 2 3 2
1 1 1 2
3 3 1 0

Danach vertauscht man die erste Zeile mit der Pivotzeile:

Zeilenvertauschung
b
1 1 1 2
0 2 3 2
3 3 1 0

Für die Rechnung per Hand ist es sinnvoll, eine 1 oder minus 1 als Pivot zu wählen, um möglichst ohne Brüche auszukommen. Um einen stabilen Algorithmus zu erhalten, nimmt man das betragsgrößte Element. Wählt man das Pivot in der aktuellen Spalte, spricht man von Spaltenpivotisierung. Alternativ kann man das Pivot auch in der aktuellen Zeile wählen.

Wahl des Pivot
b
0 2 3 2
1 1 1 2
3 3 1 0

In diesem Fall werden entsprechend die Spalten getauscht.

Spaltenvertauschung
b
2 0 3 2
1 1 1 2
3 3 1 0

Beim Rückwärtseinsetzen ist dabei zu beachten das die Variablen ihre Postion im Gleichungssystem geändert haben. Wählt man als Pivot das betragsgrößte Element der gesamten Restmatrix, so spricht man von vollständiger Pivotisierung beziehungsweise Totalpivotisierung. In diesem Fall sind sowohl Zeilen- als auch Spaltenvertauschungen notwendig.

Pivotisierung ist ohne nennenswerten Zusatzaufwand durchführbar, indem anstatt die Einträge von Matrix und rechter Seite zu vertauschen diese Vertauschungen lediglich in einem Indexvektor gespeichert werden.

LR-Zerlegung

Will man das Lösen eines quadratischen eindeutig lösbaren Gleichungssystems Ax=b als Computerprogramm umsetzen, bietet es sich an, den Gaußalgorithmus als LR-Zerlegung (auch LU-Zerlegung oder Dreieckszerlegung genannt) zu interpretieren. Dies ist eine Zerlegung der regulären Matrix A in das Produkt einer linken unteren Dreiecksmatrix (links, bzw. engl. „lower“) und einer rechten oberen Dreiecksmatrix (rechts, auch mit bezeichnet, von engl. „upper“). Das folgende Beispiel zeigt dies:

Dabei hat R die oben erwähnte Stufenform und die Matrix L dient dem Speichern der benötigten Umformungsschritte. Um Eindeutigkeit zu erreichen werden die Diagonalelemente der Matrix L als 1 festgelegt. Die Umformungsschritte zu speichern hat den Vorteil, dass für verschiedene „rechte Seiten“ b das Gleichungssystem effizient durch Vorwärts- und Rückwärtseinsetzen gelöst werden kann.

Die im Allgemeinen aus Stabilitätsgründen benötigten Zeilenvertauschungen können durch eine Permutationsmatrix beschrieben werden.

Vorwärtseinsetzen

Beim Vorwärtseinsetzen berechnet man eine Lösung des linearen Gleichungssystem , beziehungsweise bei Rechnung mit Pivotisierung von . Diese steht über die Gleichung mit der Lösung des ursprünglichen Gleichungssystems in Beziehung.

Ausgeschrieben hat das Gleichungssystem folgende Gestalt:

Für die Komponenten gilt dann die folgende Formel:

Beginnend mit können nacheinander ausgerechnet werden, indem jeweils die schon bekannten eingesetzt werden.

Rückwärtseinsetzen

Beim Rückwärtseinsetzen berechnet man die Lösung des ursprünglichen Gleichungssystem, indem man ähnlich wie beim Vorwärtseinsetzen löst. Der Unterschied besteht darin, dass man bei beginnt und dann nacheinander die Werte von berechnet. Die entsprechende Formel lautet

Algorithmus in Pseudocode

Der folgenden Algorithmus führt eine LR-Zerlegung ohne Pivotisierung aus.

   Eingabe: Matrix A
   
   For i = 1 To n
       For j = i To n
           For k = 1 To i-1               
               A(i,j)-=A(i,k)*A(k,j) 
           end
       end    
       For j=i+1 To n
           For k = 1 To i-1
               A(j,i)-=A(j,k)*A(k,i)
           end
           A(j,i)/=A(i,i)
       end
    end
   
   Ausgabe: Die mit den Dreiecksmatrizen L und R überschriebene Matrix A, 
   wobei die Einsen auf der Diagonale von L nicht gespeichert werden.

Unvollständige Zerlegungen

Die LR-Zerlegung hat den Nachteil, dass sie auch bei dünnbesetzten Matrizen häufig vollbesetzt ist. Werden dann statt aller Einträge nur jene in einem vorgegebenen Besetzungsmuster berechnet, spricht man von einer unvollständigen LU-Zerlegung. Diese liefert eine günstige Approximation an die Matrix A und kann somit als Vorkonditionierer bei der iterativen Lösung von linearen Gleichungssystemen eingesetzt werden. Im Fall von symmetrisch positiv definiten Matrizen spricht man von einer unvollständigen Cholesky-Zerlegung.

Eigenschaften des Verfahrens

Rechenaufwand und Speicherplatzbedarf

Die Anzahl arithmetischer Operationen für die LR-Zerlegung ist bei einer -Matrix ca. . Der Aufwand für das Vorwärts- und Rückwärtseinsetzen ist quadratisch () und daher insgesamt vernachlässigbar. Da der Aufwand kubisch mit der Dimension der Matrix wächst, kann man jedoch anhand der Rechenzeit für eine Matrix die Rechenzeit für eine andere Matrix abschätzen. Benötigt der Algorithmus also auf einem bestimmten Rechner für eine Matrix der Dimension etwa 10 Sekunden, so benötigt er für eine Matrix der Dimension auf dem selben Rechner ungefähr Sekunden also ca. 3 Stunden. Damit ist das Gauß’sche Eliminationsverfahren ein schnelles direktes Verfahren zur Lösung linearer Gleichungssysteme, für eine QR-Zerlegung benötigt man mindestens doppelt so viele Rechenoperationen. Dennoch sollte der Algorithmus nur für Gleichungssysteme kleiner bis mittlerer Dimension verwendet werden (bis etwa ). Für Matrizen höherer Dimension steigt die Rechenzeit jedoch schnell an und iterative Verfahren sind oft besser. Diese nähern die Lösung schrittweise an und benötigen in jedem Schritt für eine vollbesetzte Matrix Rechenoperation. Die Konvergenzgeschwindigkeit solcher Verfahren hängt jedoch stark von den Eigenschaften der Matrix ab und man kann die konkret benötigte Rechenzeit nur schwer vorhersagen.

Die Rechnung kann auf dem Speicher der Matrix A durchgeführt werden, so dass außer der Speicherung von A selbst kein zusätzlicher Speicherbedarf entsteht. Für eine vollbesetzte Matrix der Dimension müsste man eine Million Koeffizienten abspeichern. Dies entspricht im IEEE 754-Format double in etwa 8 Megabyte. Bei iterativen Verfahren, die mit Matrix-Vektor-Multiplikationen arbeiten, kann allerdings eine explizite Speicherung von A selbst nicht nötig sein, so dass diese Verfahren ggf. vorzuziehen sind.

Für Spezialfälle lassen sich Aufwand und Speicherplatz deutlich reduzieren, indem spezielle Eigenschaften der Matrix und ihrer LR-Zerlegung ausgenutzt werden können. So benötigt die Cholesky-Zerlegung für symmetrische positiv definite Matrizen nur die Hälfte an Rechenoperationen und Speicher. Ein anderes Beispiel sind Bandmatrizen mit fester Bandbreite m, da hier die LR-Zerlegung die Bandstruktur erhält und sich so der Aufwand auf reduziert. Für wenige spezielle dünnbesetzte Matrizen ist es möglich, die Besetzungsstruktur auszunutzen, so dass die LR-Zerlegung ebenfalls dünnbesetzt bleibt. Beides geht einher mit einem verringerten Speicherbedarf.

Genauigkeit

Damit die Berechnung von x ausreichend genau ist, darf zum einen die Kondition der Matrix nicht zu schlecht und die verwendete Maschinengenauigkeit nicht zu gering sein. Zum anderen benötigt man ein Lösungsverfahren, das ausreichend stabil ist. Ein guter Algorithmus zeichnet sich also durch eine hohe Stabilität aus.

Im Allgemeinen ist das Verfahren ohne Pivotisierung instabil. Daher wird meist Spaltenpivotisierung zur Lösung verwendet. Damit ist das Verfahren für die meisten Matrizen stabil durchführbar, wie insbesondere durch die Arbeiten von James Hardy Wilkinson nach dem Zweiten Weltkrieg klar wurde. Es lassen sich allerdings Matrizen angeben, für welche die Stabilitätskonstante exponentiell mit der Dimension der Matrix wächst. Mit vollständiger Pivotisierung lässt sich die Stabilität noch verbessern, allerdings steigt dann auch der Aufwand für die Pivotsuche auf , daher wird diese selten verwendet. Generell bessere Stabilität haben QR-Zerlegungen, die allerdings auch aufwändiger zu berechnen sind.

Bei strikt diagonaldominanten oder positiv definiten Matrizen (siehe auch Cholesky-Zerlegung) ist das Gauß-Verfahren stabil und ohne Pivotisierung durchführbar, es treten also keine Nullen auf der Diagonale auf.

Nachiteration

Ein praktischer Ansatz zum Ausgleich dieser Rechenungenauigkeiten besteht aus einer Nachiteration mittels Splitting-Verfahren, da über die LR-Zerlegung eine gute Näherung der Matrix A zur Verfügung steht, die leicht invertierbar ist. Dazu startet man mit der berechneten Lösung und berechnet in jedem Schritt das Residuum

Danach berechnet man unter Verwendung der LR-Zerlegung

und setzt

Da es meistens nur um kleine Korrekturen geht, reichen oft wenige Iterationsschritte. Im Allgemeinen ist für diese Rechnung allerdings eine höhere Genauigkeit notwendig. Reicht auch die Nachiteration nicht aus, um auf die gewünschte Genauigkeit zu kommen, bleibt nur die Wahl eines anderen Verfahrens oder eine Umformung des Problems, um eine günstigere Matrix zu erhalten, etwa eine mit kleinerer Kondition.

Das Gauß-Verfahren als theoretisches Hilfsmittel

Das Gauß-Verfahren ist neben seiner Bedeutung zur numerischen Behandlung von eindeutig lösbaren linearen Gleichungssystemen auch ein wichtiges Hilfsmittel in der theoretischen linearen Algebra.

Aussagen zur Lösbarkeit des linearen Gleichungssystems

Ein lineares Gleichungssystem kann eine, mehrere oder keine Lösung haben. Bei Verwendung von vollständiger Pivotisierung bringt das Gauß-Verfahren jede Matrix auf Dreiecksstufenform, bei der alle Einträge unterhalb einer gewissen Zeile Null sind und auf der Diagonale keine Nulleinträge auftauchen. Der Rang der Matrix ergibt sich dann als Zahl der Nichtnullzeilen der Matrix. Die Lösbarkeit ergibt sich dann aus dem Zusammenspiel mit der rechten Seite: Gehören zu den Nullzeilen Nichtnulleinträge der rechten Seite, ist das Gleichungssystem unlösbar, ansonsten lösbar, wobei die Dimension der Lösungsmenge der Anzahl der Unbekannten minus dem Rang entspricht.

Beispiel

Da die zweite Gleichung ein Vielfaches der ersten Gleichung ist, hat das Gleichungssystem unendlich viele Lösungen. Bei der Elimination von x in der zweiten Gleichung verschwindet diese vollständig, übrig bleibt nur die erste Gleichung. Löst man diese nach x auf, kann man die Lösungsmenge in Abhängigkeit von y angeben:

Determinante

Ferner liefert das Gauß-Verfahren eine Möglichkeit, die Determinante einer Matrix auszurechnen. Da die elementaren Zeilenumformungen die Determinante 1 haben, hat die sich ergebende obere Dreiecksmatrix dieselbe Determinante wie die ursprüngliche Matrix. Die Determinante ist dann einfach das Produkt der resultierenden Diagonaleinträge. Dies gilt allerdings nur dann, wenn keine Zeilenvertauschungen verwendet wurden, da diese das Vorzeichen der Determinante ändern, so dass dann der Wert noch entsprechend korrigiert werden muss.

Berechnung der Inversen

Eine weitere Möglichkeit der Anwendung des Gauß-Verfahrens besteht in der Berechnung der Inversen der Matrix. Hierzu wird der Algorithmus auf ein von rechts durch eine Einheitsmatrix erweitertes Schema angewandt und nach der ersten Phase fortgesetzt, bis links eine Einheitsmatrix erreicht ist. Im rechten Teil steht dann die inverse Matrix. Dieses Verfahren ist numerisch nicht zu empfehlen und die explizite Berechnung der Inversen kann meist umgangen werden.

Geschichte

Bereits im chinesischen Mathematikbuch Jiuzhang Suanshu (dt. Neun Bücher arithmetischer Technik), das zwischen 200 vor und 100 nach Christus verfasst wurde, findet sich eine beispielhafte, aber klare Demonstration des Algorithmus anhand der Lösung eines Systems mit drei Unbekannten. 263 veröffentlichte Liu Hui einen umfassenden Kommentar zu dem Buch, der daraufhin in den Textkorpus einging. Das Jiuzhang Suanshu war bis ins 16. Jahrhundert eine wesentliche Quelle der mathematischen Bildung in China und umliegenden Ländern.

In Europa wurde erst 1759 von Joseph-Louis Lagrange ein Verfahren publiziert, das die grundlegenden Elemente enthält. Carl Friedrich Gauß beschäftigte sich im Rahmen seiner Entwicklung und Anwendung der Methode der kleinsten Quadrate mit linearen Gleichungssystemen, den dort auftretenden Normalgleichungen. Seine erste Veröffentlichung zu dem Thema stammt von 1810 (Disquisitio de elementis ellipticis Palladis), allerdings erwähnt er bereits 1798 in seinen Tagebüchern kryptisch, er habe das Problem der Elimination gelöst. Sicher ist, dass er das Verfahren zur Berechnung der Bahn des Asteroiden Pallas zwischen 1803 und 1809 nutzte. In den 1820ern beschrieb er das erste mal etwas wie eine LR-Zerlegung. Das Eliminationsverfahren wurde in der Folgezeit vor allem in der Geodäsie eingesetzt, und so ist der zweite Namensgeber des Gauß-Jordan-Verfahrens nicht etwa der Mathematiker Camille Jordan, sondern der Geodät Wilhelm Jordan.

Im und nach dem Zweiten Weltkrieg gewann die Untersuchung numerischer Verfahren an Bedeutung und das Gauß-Verfahren wurde nun auch vermehrt auf Probleme unabhängig von der Methode der kleinsten Quadrate angewandt. John von Neumann und Alan Turing definierten die LR-Zerlegung in der heute üblichen Form und untersuchten das Phänomen der Rundungsfehler. Befriedigend gelöst wurden diese Fragen erst in den 1960ern durch James Hardy Wilkinson, der zeigte dass das Verfahren mit Pivotisierung rückwärtsstabil ist.

Literatur

  • Gerd Fischer: Lineare Algebra, Vieweg-Verlag, ISBN 3-528-97217-3.
  • Gene Golub und Charles van Loan: Matrix computations, 3rd edition, Johns Hopkins, Baltimore, 1996. ISBN 0-8018-5414-8.
  • Andrzej Kielbasiński, Hubert Schwetlick: Numerische lineare Algebra. Eine computerorientierte Einführung. Deutscher Verlag der Wissenschaften, Berlin 1988, ISBN 3-326-00194-0.
  • Andreas Meister: Numerik linearer Gleichungssysteme. Eine Einführung in moderne Verfahren. 2. Auflage, Vieweg, Wiesbaden 2005, ISBN 3-528-13135-7.

Weblinks