Hauptseminar Analyse von Softwarefehlern
-
Softwarefehler in der Logistik am Beispiel des Denver International Airport Gepäcktransportsystems

Inhalt

1. Die Ausgangssituation
2. Das Gepäcktransportsytem von BAE
   1. Der Auftrag an BAE
   2. Ziele
   3. Funktionsweise
   4. Komponenten
3. Probleme
   1. Planungstechnische Probleme/Versäumnisse
   2. Technik
   3. Komplexität
4. Folgen
   1. Funktionalität
   2. Verzögerungen
   3. Kosten
5. Zusammenfassung
6. Andere Fehler
   1. Am Denver International Airport
   2. An anderen Flughäfen
   3. Andere Logistik-Fehler
7. Daten zu Großprojekten
8. Referenzen

Die Ausgangssituation

Ursprünglich gingen die Behörden davon aus, dass jede der Fluggesellschaften ihr eigenes Gepäcktransportsystem bauen würde.

Das Gepäcktransportsytem von BAE

Der Auftrag an BAE

Als nun der Stadt Denver auffiel, dass keine der anderen Fluglinien ein Gepäcktransportsystem geplant hatte, wurde der Auftrag an BAE auf das gesamte Flughafengelände ausgedehnt. Die geschätzten Kosten für diese allumfassende Version betrugen 193 Millionen Dollar.

Ziele

Ein weiterer Grund für die Entscheidung gegen ein traditionelles System und für das vollelektrische war, dass die bisher verwendeten, manuell gesteuerten Gepäckwägen Diesel-Motoren hatten und die Fahrer und andere Arbeiter in den schlecht gelüfteten unterirdischen Tunnels wahrscheinlich erstickt wären. Selbst wenn ausreichende Ventilationsschächte eingebaut worden wären, wären die großen Sammelwägen in den schmalen Tunnels stecken geblieben.

Funktionsweise

Während der Wagen das Gepäck auffängt, liest ein Barcode-Scanner das daran angebrachte Label und sendet die Zuordnung Gepäckstück <-> Wagen an den Sortier-Computer, der die Flugnummer in einer Tabelle nachschlägt und die dort gespeicherte Routing-Information an einen Führungs-Computer weitergibt. Dieser kommuniziert über Funk mit dem Wagen. Mittels programmierbaren Logik-Controllern, die die Weichen bei den Auf- und Abfahrten stellen, wird jeder Wagen zu seinem Ziel gelenkt.

Die Führungs-Computer haben auch die Aufgabe, die Flugsteig-Zuordnungen zu verfolgen, für den Fall, dass Änderungen auftreten, blockierte Schienen und Ausfälle zu erkennen und zu umschiffen und Gepäckstücke eventuell zu speziellen Inspektionsstationen umzuleiten.

Das System mit seinen zwei gegenläufigen geschlossenen Bahnen und redundanten Querverbindungen sollte 18 Stunden am Tag mit 99,5% Auslastung - über tausend Gepäckstücke pro Minute - arbeiten können und wurde (trotz Warnungen von BAE) von nur 18 DIA-Technikern betrieben. Außerdem war das System bis auf die Koordination mit der Flugreservierung unabhängig von anderen Systemen im Flughafen, was es relativ robust gegenüber Ausfällen in anderen Bereichen machen sollte.

Komponenten

• 300 Rechner (486er) in acht Kontrollrämen (Betriebssystem: OS/2)
• Eine Raima Corp. Datenbank auf einem fehlertoleranten Netframe Systems NF250 Server
• Hochgeschwindigkets-Glasfaser-Netzwerk
• 14 Millionen Fuß Kabel
• 56 Lasereinheiten (Barcode-Leser)
• 400 Frequenzleser
• 22 Meilen Schienen
• Sechs Meilen Transportband
• 5 000 photo-elektrische Sensoren
• 3 550 Ferngesteuerte Wägen, davon 450 mit Übergröße
• 10 000 Motoren
• 92 PLCs (programmierbare Logik-Controller) für die Motoren und Weichen-Stellung

Probleme

Planungstechnische Probleme/Versäumnisse

• Das ganze Geläcktransportsystem wurde nachträglich eingebaut (Planung erst zwei Jahre nach Beginn des Flughafenbaus, siehe oben), wodurch es natürlich nicht möglich war, die Architektur der Tunnels auf die Anforderungen des Systems auszurichten.
• Die ganze Entwicklung wurde in einen viel zu engen Zeitrahmen gepresst. Was eigentlich ein Drei- bis Vier-Jahres-Projekt gewesen wäre, sollte hier in zwei Jahren fertig sein.
• Denver ließ das System nicht von BAE betreiben, obwohl sie die einzigen waren, die es wirklich verstanden. Stattdessen wurde diese Aufgabe einer Firma aus Miami, Aircraft Service International, übertragen.
• Das ursprünglich von United Airlines in Auftrag gegebene System war nur für eine Fluglinie gedacht gewesen, wurde aber nachträglich auf den gesamten Flughafen ausgeweitet, ohne das Design auf nötige Anpassungen zu überprüfen.
• Die für Testläufe vorgesehene Zeit war viel zu kurz. In München, wo am Franz-Josef-Strauß-Flughafen ein kleineres automatisches Gepäcktransportsystem gebaut worden war, dauerten die Tests zwei Jahre, und die Systeme liefen vor der Eröffnung des Flughafens noch einmal ein halbes Jahr 24 Stunden am Tag.
• Angestellte wurden nicht genügend trainiert: Koffer wurden aufrecht auf die Laufbänder gestellt, so dass sie nicht richtig in die Wägen geschleudert werden konnten.
• Gebäude wurden verlegt, so dass die Schienenwege entsprechend angepasst werden mussten.
• Kosteneinsparungen zogen teilweise nicht-triviale Änderungen des Systems nach sich, die natürlich auch wieder Geld kosteten und daher möglichst billig und nicht mit der nötigen Sorgfalt durchgeführt wurden.

Technik

• Kurven in den Tunnels waren zu eng, so dass Wägen entgleisten bzw. stecken blieben. An solchen Stellen wurden auch die Schienen entsprechend hoch beansprucht und gingen leicht kaputt.
• Manchmal sorgte der Fahrtwind dafür, dass leichte Koffer von den Wägen fielen.
• Das Timing von Wägen und "Gepäckkanonen" bei den Lade-Stationen funktionierte nicht richtig: Einige der LIMs (Lineare Induktionsmotoren auf den Strecken) mussten verlegt, Magneten hinzugefügt, verschoben und weggenommen werden. Die Wagen-Reservierung musste komplett überarbeitet und neu implementiert werden. Redundante Controller für die Lade-Stationen waren nötig.
• Manche Wägen hatten fehlerhafte Riegel, so dass das Gepäck herunterfiel oder nicht eingeladen werden konnte.
• Die online gedruckten Labels wurden zu schnell ausgegeben, wodurch teilweise fehlerhafte Daten in BAEs Sortier-Computer kamen. In solchen Fällen wurden die Wägen zu manuellen Sortier-Stationen geschickt und füllten diese schneller auf als das Personal sie bearbeiten konnte.
• Die Labels waren schlecht gedruckt, was zu Fehlerraten von bis zu 70% führte. Mit besseren Druckern konnten diese auf 5% verringert werden.
• Barcode-Scanner wurden von Arbeitern, die Wände errichteten, leicht aus ihrer Position gebracht, so dass man redundante Scanner brauchte.
• Dazu kam noch, dass die Ursache dieser Art von Fehlern nur schwer bestimmt werden konnte. Wenn ein Barcode nicht erkannt wurde, konnte das mehrere Gründe haben: Entweder war die Tasche so auf das Band gelegt worden, dass der Barcode versteckt war, oder es waren noch Labels von früheren Flügen darauf, oder das Label war verschmutzt, oder der Laser-Scanner war nicht exakt ausgerichtet. Oder es war gar kein Fehler beim Lesen aufgetreten sondern bei der Funk-Übertragung.
• Wägen wurden zu früh oder zu spät zu den Stationen geschickt.
• Das 10-Megabit Netzwerk reichte nicht für die Datenmenge, die generiert wurde, wenn tausende Wägen in Echtzeit verfolgt wurden. In der Folge gingen Umleitungen schief, so dass Wägen kollidierten, Gepäck ging verloren und konnte nicht automatisch sortiert werden. Es wurde schließlich ein neues 100-Megabit Netzwerk mit einer geänderten Architektur installiert, so dass die maximale Netzlast auf 5% gedrückt werden konnte.
• Die Photozellen, die die Wägen beobachten und Staus erkennen sollten, waren teilweise schmutzig (oder wurden von Malern, die die Wände strichen, überpinselt), so dass falsche Stau-Meldungen auftraten und Teilstrecken grundlos unbenutzbar wurden. Dieses Problem konnte mit redundanten Photozellen und mit einer Erhöhung des Radius behoben werden.
• Die Stoßstangen der Gepäckwägen interferierten mit der Erkennung durch die Photozellen.
• Eines der Grundprobleme war, dass die Komponenten allesamt an ihren Leistungsgrenzen betrieben wurden, was zu hohen Ausfallraten und häufig zu Kettenreaktionen führte, wo der Ausfall einer Komponente den Ausfall meherer anderer zur Folge hatte.
• Das Debugging der mechanischen Prozesse wurde durch die Tatsache erschwert, dass in den unterirdischen Tunnels keine Funkgeräte funktionierten.
• Es gab massive Line-Balancing-Probleme: Die Laufbänder lagen voller Taschen, die auf Abholung warteten, und leere Wägen fuhren vorbei. Die Designer hatten angenommen, dass leere Wägen in beliebigen Mengen herumfahren konnten. Manchmal stimmte diese Zahl mit der der wartenden Taschen überein, oft aber nicht. Angeforderte leere Wägen wurden statt zu den Lade-Stationen zu Abstellgleisen geleitet.
• Die Kombination verschiedener Programmiersprachen führte zu fehlerhaften Konvertierungen von Datentypen.
• Schließlich mussten die meisten Fehler mittels "Trial & Error" beseitigt werden.

Komplexität

Faktoren, die zur Erhöhung der Komplexität beitrugen, waren unter anderem die Tatsachen, dass das System zunächst nur für eine Fluggesellschaft gedacht war, aber plötzlich einen ganzen Flughafen versorgen sollte, und dass ständig irgendwelche Änderungswünsche der einzelnen Fluglinien vorlagen, mehrmals die Software-Architektur einzelner Komponenten geändert wurde und daher, bedingt durch die enge Kopplung aller Teilsysteme, Änderungen anderswo notwendig wurden.

Ein Beipiel für die Komplexität des ursprüglichen System-Entwurfs ist die Kette von Prozessen, die nötig ist, um einen leeren Wagen von einem Ort im Schienennetz zu einem anderen zu bringen. Dieser scheinbar einfache Vorgang muss bei normaler Auslastung bis zu tausend Mal in der Minute stattfinden. Da sich die Nachfrage nach leeren Wägen ständig ändert, wenn Flugzeuge ankommen bzw. abfliegen, müssen die Wägen häufig die Richtung ändern oder auf eine andere Schiene oder in eine andere Schleife im Netz wechseln. Beispielsweise muss ein Wagen etwa auf eine Schiene mit entgegengesetztem Verkehr wechseln, indem er an einer Spezial-Abfahrt abbiegt, an einer Unterführung unter die Schienen abtaucht und sich in den Verkehr in der richtigen Richtung einordnet. Dann muss er bei der richtigen Abfahrt raus, nur um vielleicht wieder Schienen zu wechseln, bis er endlich bei der richtigen Lade-Station ist, genau zur richtigen Zeit, um während der Fahrt ein dahergeschleudertes Gepäckstück aufzufangen. Diesen Vorgang muss der Computer in tausend Variationen tausend Mal in der Minute steuern, schnell und fehlerfrei. Dabei wird schon das Einordnen alleine zum Problem, wenn gerade viele Wägen unterwegs sind. Dann müssen die Wägen, die sich einordnen wollen, auf speziellen Schienen warten. Die Länge dieser Schienen ist begrenzt. Wenn eine davon voll ist, müssen alle 300 Führungs-Computer das sofort bemerken und den Verkehr umleiten. Ralph Doughty, Vice President of Engineering bei BAE sagt dazu: "It's like taking a city with 4 000 cars and no drivers in them. We have to be able to control all these cars when they come to an intersection."

Genau das konnten sie nicht, als im März 1994 ein Testlauf für einige Mediengruppen durchgeführt wurde: Fehler im ganzen System zerstörten Taschen und warfen Koffer aus den Wägen. Wägen entgleisten und fuhren ineinander, Koffer flogen wie Popcorn, manche zerbrachen und verteilten Unterwäsche in alle Richtungen. Schienen wurden bei Zusammenstößen verbogen. Wägen blieben einfach stehen oder kamen nicht, wenn sie gerufen wurden. Besonders an Kreuzungen gab es Massenkarambolagen. Manche Wägen wurden von der eigenen Fracht blockiert oder von herumliegenden Kleidungsstücken, die von anderen aus zerrissenen Taschen verstreut worden waren, und wurden so zu Auslösern weiterer Crashes. Die meisten Wägen mit unlesbaren Barcodes wurden zu Haltestationen geleitet. Andere Wägen, die wussten, wohin sie sollten, kollidierten mit welchen, die es nicht wussten.

Folgen

Funktionalität

Die Kapazität des automatisierten Systems wurde auch erheblich eingeschränkt: Die 60 Wägen pro Minute pro Schiene wurden auf 30 reduziert. Außerdem wird lediglich die Hälfte der 84 Gates von dem neuen System bedient, und auch das nur für Flüge mit Anfangs- oder Endstation Denver. Gepäck für Zwischenlandungen wird wie bei den anderen Fluglinien manuell abgefertigt. Insgesamt arbeitet das System nur mit 12% der geplanten Kapazität.

Verzögerungen

1. BAE muss einen Gesamt-Zeitplan aufstellen.
2. Logplan und die Stadt Denver müssen den Plan evaluieren und verschiedene Tests durchführen, um festzustellen, wie realistisch er ist.
3. Denver muss sich mit den Fluggesellschaften beraten.
4. Das Gepäcktransportsystem muss eine unbestimmte Zeit lang mit einer akzeptablen Zuverlässigkeit funktionieren.

Kosten

Um diese Verluste wieder wettzumachen, verlangte der DIA von allen Fluglinien eine Gebühr von 20 Dollar pro Passagier. Das machte den DIA zum teuersten Flughafen Amerikas. (Zum Vergleich: Stapleton verlangte acht Dollar pro Passagier).

Zusammenfassung

• Fehlende Planung
• Mangelnde Technik, von der trotzdem erwartet wurde, dass sie perfekt funktioniert
• Fehlende Anpassung der Software an sich ändernde Anforderungen
• Die sich ständig ändernden Anforderungen
• Zu starrer und enger Zeiplan
• Zu langsames Netzwerk
• Die riesige Komplexität

Andere Fehler

Am Denver International Airport

• Am 19. Oktober 2000 blieb eine U-Bahn im DIA stecken, nachdem sie am Hauptterminal vorbeigeschossen war. Der Grund: Der Speicher in einem Chip in der automatisierten U-Bahn fiel aus, und der Chip konnte das Stopp-Signal auf einem Barcode nicht lesen. Folglich fuhr der Zug an der Haltestelle vorbei und ein Sicherheitsmechanismus stoppte die Bahn.
• Im Januar 2002 ergab eine Analyse, die von der Sicherheitsfirma White Hat Technologies Inc., durchgeführt wurde, dass die Wireless LANs der American Airlines Inc. und anderer Fluglinien völlig unverschlüsselt waren. Gerade im Zusammenhang mit Sicherheitschecks, bei denen Taschen und Koffer auf Sprengstoffe überprüft werden, und die die Zuordnung zwischen Gepäckstück und Besitzer über ein Wireless LAN abfragen, ist das nicht ganz ungefährlich, auch wenn die Fluggesellschaften behaupten, es sei ausgeschlossen, dass jemand irgendwo hinkäme, wo er Schaden anrichten könnte. Auch andere amerikanische Flughäfen sind davon betroffen, z.B. San Jose Internation Airport.

An anderen Flughäfen

• In Osakas Dansai International Airport stapelten sich aufgrund einer Verwirrung über den Flughafen-Code noch Monate nach der Eröffnung 1994 verlorene Taschen und Koffer. Der neue Code war KIX statt OSA, der Code für Osakas früheren Flughafen.
• Als in Vancouver 1996 ein neues Terminal eröffnete, dauerte es ein Jahr, bis das Gate-Allokations-System richtig mit dem System kommunizierte, das für die Anzeige der Fluginformation zuständig war.
• Kurz nach der Eröffnung des Kuala Lumpur International Airport am 30. Juni 1998 fiel das 168 Millionen Dollar teure zentrale Netzwerk aus und verursachte ein herrliches Chaos. Über dieses Netzwerk lief ein allumfassendes Flughafen-Management-System, das nicht nur alle Kommunikationskanäle bündelte und alle Informationen in Datenbanken verwaltete, sondern wirklich alles, von den Fluginformationsbildschirmen bis hin zu den Rolltreppen, kontrollierte. Tickets mussten manuell ausgestellt werden, das mechanische Gepäcktransportsystem fiel aus, das Personal musste mit Mobiltelefonen kommunizieren, weil es kein Backup-Kommunikationssystem gab.
• Der Hong Kong International Airport öffnete am 6. Juli 1998, zwei Monate vor der Fertigstellung trotz gravierender Mängel, weil aus Peking der Befehl kam, der Flughafen müsse rechtzeitig zum Besuch von Präsident Clinton anlässlich des einjährigen Jubiläums der Übergabe von Hong Kong an die Volksrepublik China offen sein, um dem Ansehen der Regierung keinen Schaden zuzufügen. Der Welt teuerster Flughafen (20 Milliarden Dollar) nahm seine Arbeit zwei Monate zu früh mit Computerfehlern, Verspätungen und verlorenem Gepäck auf. Es gab Sicherheitslöcher, Restaurants ohne Essen, Bars ohne Drinks, Toiletten ohne Wasser und nutzlose Telefone. Staub auf den 14 000 Sensoren und Reflektoren und Bugs in der Software, die Einträge unter den Tisch fallen ließen, taten ihr übriges, um Hong Kongs Wirtschaft möglichst viel Geld zu kosten.

Andere Logistikfehler

• Oxford Health Plans Inc., eine amerikanische Krankenversicherung, hatte 1997 Probleme beim Versand von Rechnungen - sie kamen Monate zu spät an. Folglich konnten sie auch selbst keine Rechnungen mehr zahlen. Einige Kunden kündigten Policen, die sie monatelang kostenlos hatten, und sorgten so dafür, dass Oxford an bereits gebuchte Einkünfte nicht mehr herankam.
• Sobey hatte Ende 2000 ein Problem mit ihrem SAP System. Das System sollte den Fluss von Lebensmitteln in den 1 400 Filialen der kanadischen Supermarkt-Kette überwachen. Stattdessen gab es im Dezember fünf Tage lang massive Probleme beim Auffüllen der Vorräte in den Filialen.
• FoxMeyer Corp., ein 5 Milliarden Medikamenten-Großhandel in Amerika, fiel 2001 beim Umstieg auf SAP R/3 ebenfalls kräftig auf die Nase. Das System produzierte falsche Inventarlisten. Daten wurden falsch aus dem alten System übernommen. Crashes waren an der Tagesordnung. Die Performance ließ auch zu wünschen übrig. Schließlich meldete FoxMeyer Konkurs an.
• 2001 schickte das California Department of Motor Vehicles ca. 3 000 Führerscheine an falsche Adressen, weil die Sortiermaschine nicht funktionierte. Es war im Nachhinein nicht genau festzustellen, wie viele falsch verschickt wurden.
• Nicht direkt Logistik, aber lustig: Im Juli 2001 drehten in einem (nicht näher bezeichneten) Kaufhaus motorisierte Einkaufs-Rollstühle ("motorized-chair shopping-carts") durch. Diese waren an einer Wand aufgestellt und zum Aufladen eingesteckt. Alles ging gut, bis der Strom ausfiel. In diesem Moment rissen sich alle Wägen los und rasten davon. Die meisten fuhren Regale um, bevor das Personal sie aufhalten konnte. Der Grund lag im grandios fehlerhaften Design dieser fahrbaren Untersätze: Die Normal-Stellung des Griffs war auf vorwärts. Es gab zwar eine Fußbremse, aber sie musste zum Anhalten gedrückt werden. Und natürlich gab es einen Stromschalter, aber der musste zum Aufladen auf "An" stehen. Die Wägen waren also zum Aufladen eingesteckt und angeschaltet. Weil sie eingesteckt waren, waren sie im Auflade-Modus, standen also still. Als nun der Strom ausfiel, waren die Wägen an, Bremse aus, Vorwärtsgang drin. Da kein Strom mehr da war, fuhren sie los - fahrerlos.

Daten zu Großprojekten

• 55% der großen verteilten Systeme die geplanten Kosten übersteigen,
• 68% den gegebenen Zeitplan nicht einhalten können,
• 88% mindestens einmal ein neues Design brauchen.

Danach stellt sich aber ein noch größeres Problem. 45-80% der Kosten für ein System entstehen nämlich erst durch die nötigen Wartungsarbeiten. Es muss also schon beim Design eines Systems auf Wartbarkeit geachtet werden.

Referenzen

• Denver International Airport Gepäcktransportsystem:
  • Huckle, Thomas. Softwarefehler und ihre Folgen
  • Schloh, Michael. Analysis of the Denver International Airport baggage system
  • Montealegre, Ramiro. What Can We Learn from the Implementation of the Automated Baggage-Handling System at the Denver International Airport?
  • Eipe, Rohit. The importance of software architecture: Denver International Airport's automated baggage handling system: A report
  • Nice, Karim. How Baggage Handling Works, HowBIZWorks
  • Flavors Technology - BHS Application Note - Baggage Handling Systems, Parallel Simulation Technology LLC
• Andere Fehler beim DIA:
  • U-Bahn:
    Stieglitz, Jeff. *Lack* of barcode causes train to trap passengers, The Risks Digest, Volume 21: Issue 10
  • Wireless LAN:
    Brewin, Bob; Verton, Dan; DiSabatino, Jennifer. Wireless LANs: Trouble in the Air, Computerworld, 14.01.2002
• Fehler bei anderen Flughäfen:
  • Dempsey, Paul Stephen. Airport woes wake-up call, The Denver Business Journal, 11.01.1999
• Andere Logistik-Fehler:
  • Oxford Health Plans Inc.:
    Hammonds, Keith H.; Jackson, Susan. Behind Oxford's Billing Nightmare, Business Week, 17.11.1997
  • Sobey:
    History of Nova Scotia with special attention given to Communications and Transportation, Chapter 76, 2001 January 22-31
  • FoxMeyer Corp.:
    A Really Bad Bet Foe Drug Distributor, OXBOW.dts, 13.11.2001
  • California Department of Motor Vehicles:
    Neumann, Peter G. DMV screws up on licenses, The Risks Digest, Volume 21: Issue 39
  • Unbekanntes Kaufhaus:
    Stevens, Ray Todd. Power outage means wheel chairs on the go, The Risks Digest, Volume 21: Issue 50