Was ist die Verifikation und Validierung (V & V) für die Simulation?

Das Thema Verifikation und Validierung ist innerhalb der Bereiche Produktion und Logistik bezogen auf Ablauf-Simulationen von hoher Bedeutung. Im Kapitel 5 gehen wir auf Hintergründe, Vorgehen und Technik, dazugehörende Definitionen sowie auf bestehende Vorgehensmodelle ein. Hier wird immer Bezug auf die Logistik und Produktion genommen. 

Ablaufsimulationen werden meist dann eingesetzt, wenn strategische Entscheidungen mit enormer Tragweite und damit mit hohem Risiko für das gesamte Unternehmen getroffen werden müssen. Die Konsequenzen der Entscheidung, die zu treffen ist, müssen im Vorfeld eingeschätzt oder eingeschränkt werden können. Hier bedarf es Simulationsmodellen, deren Ergebnisse a) richtig, b) auf die Situation übertragbar und c) transparent sind. Wenn fehlerhafte Simulationsergebnisse erst einmal als Entscheidung formuliert sind, um dann umgesetzt zu werden, sind unter Umständen bereits ein hoher Kosteneinsatz und ein hoher Zeiteinsatz erfolgt, und damit ist das Unternehmensergebnis bereits gefährdet.

Was bedeutet innerhalb dieser Ablaufsimulation die Verifikation und Validierung?

Verifikation und Validierung dienen der Überprüfung der getroffenen Annahmen als Basis für die Simulationen. Die Definition laut Rabe, Spieckermann und Wenzel: „Verifikation ist die Überprüfung, ob ein Modell von einer Beschreibungsart korrekt transformiert wurde.“ 

„Validierung ist die kontinuierliche Überprüfung, ob die Modelle das Verhalten des abgebildeten Systems hinreichend genau wiedergeben.“ 

Die ausführliche Begriffsklärung erfolgt im nachstehenden Unterpunkt Grundbegriffe.

Die Ziele von Verifikation und Validierung (V & V) lassen sich in vier Punkten zusammenfassen:

1. Da das übergeordnete Ziel der V & V das Verhindern von fehlerhaften Aussagen einer Simulationsstudie ist, die dadurch zu Fehlentscheidungen führen kann, so muss für die V & V eine glaubwürdige Basis geschaffen werden. 
2. Um Ressourcen (Zeit/Kapital) zu sparen, muss bereits während der Modellbildungsphase frühzeitig auf Fehler geachtet werden beziehungsweise es müssen beginnende Fehlinterpretationen ausgeschaltet werden.
3. Gewonnene, glaubwürdige Erkenntnisse sollen direkt und komplett in die Modellbildung einfließen. 
4. Richtige Anwendung der V&V unter Berücksichtigung von glaubhaften Modellen

Selbst das Aufstellen von mathematischen Gleichungen als Grundlage für Simulations- und Lernmodelle kann kein fehlerfreies Modell garantieren. Die Schwierigkeit der quantitativen System Dynamics Modellierung liegt also im Erstellen von fehlerfreien, validen Modellen. Dabei ist zu berücksichtigen, dass kein Modell hundertprozentig valide sein kann, weil ein Modell immer nur ein simplifiziertes Abbild der Realität darstellt. Deswegen steht im Mittelpunkt der System Dynamics Modellierung die Nützlichkeit von Modellen.

Häufige Wiederholungen von Validitätstests steigern in quantitativen System Dynamics Modellen die Kompetenz in systemischem Denken um ein Vielfaches. Immer wieder soll das mentale Modell mit Hilfe von Tests überprüft werden. Bei realen Systemen werden Gedankenexperimente offengelegt, die auf mentalen Modellen basieren. Somit wird Wissen über das Verhalten komplexer Themen erlangt. 

Wie lauten die Grundbegriffe von V & V?

1. Verifikation oder auch Verifizierung ist der formale Nachweis der Korrektheit eines Simulationsmodells. Nach Rabe Spieckermann/ Wenzel: „ In diesem Zusammenhang ist in Analogie zur Softwareerstellung, bei der unter Verifikation der Beweis der Konsistenz zwischen Programmimplementierung und seiner Spezifikation verstanden wird (vgl. Balzert 2005, S. 476), zu prüfen ob das erstellte Simulationsprogramm das konzeptionelle Modell korrekt wiedergibt. (vgl. Schlesinger et al. 1979.“

Hier taucht nun jedoch die Frage nach der Wahl des richtigen Modells auf; gepaart mit dem Hinweis auf „hinreichende Genauigkeit“. Dieser Hinweis weicht den Begriff deutlich auf und wird immer eine Spur von Subjektivität beinhalten. Ein verifiziertes Modell muss korrekt, wahr und fehlerfrei bewertet sein und somit angesehen werden können. Diese sehr theoretische Sichtweise müsste allerdings in der Praxis mit dem Nachweis der vollständigen Korrektheit eines Simulationsmodells belegt werden, was sich als extrem aufwendige und kostenintensive Prüfung darstellen würde oder  aufgrund des nicht ausreichenden Technisierungsstands von heute gar nicht erst darstellbar wäre.

Verifizieren bedeutet nach Rabe/Spieckermann/Wenzel eine Überprüfung von Phasenergebnissen während des gesamten Simulationsprojektes.

Was ist die Validierung?

Nach der Richtlinie Nr. 3633 der VDI ist Validierung:“… die Überprüfung von Modell und Originalsystem und Feststellung der hinreichenden Übereinstimmung.“ Auszug aus Rabe/ Spieckermann/ Wenzel: „…Validierung soll sicherstellen, … (…), dass das Modell das Verhalten des realen Systems genau genug und fehlerfrei widerspiegelt: Ist es das richtige Model für die Aufgabenstellung?“ (VDI 2008, Abschnitt 6.6.) – „Are we creating the right X?“ (vgl. Balci 2003).

Balis Definitionen gelten im englischen Sprachraum als Referenz und sie gehen zurück auf eine Definition der Society for Computer Simulation und des VDIs: „Model validation is substantiating that within is domain of applicability, the model behaves with satisfactory accuracy consistent with the study objectives.”

Was macht der Test?

Jedes Modell wird in seinen Reifegraden von der Entwicklung bis zur Fertigstellung regelmäßigen Tests unterworfen. Diese Tests stellen sicher a) sachliche Korrektheit, b) funktionale Korrektheit, c) technische Korrektheit. Der Test ist das Mittel zur V&V. Dabei fällt die Zuordnung nicht immer ganz leicht. Nach Rabe/Spieckermann/ Wenzel “wird die enge Verbindung mit den erforderlichen Tests in der Literatur teilweise in der Zusammenfassung Verifikation, Validierung und Tests (VV&T) dargestellt.“ Ein einziger negativer Test stellt das komplette Modell in Frage, da der Untersuchungszweck nicht mehr korrekt gewährleistet ist. Untersuchungen ergeben, ob die Simulationsergebnisse mit den beispielsweise historischen Daten des realen Systems übereinstimmen. Die Modellstrukturen, Parameterwerte und Systemgrenzen können dann angezweifelt werden sofern das Modell die Daten nicht repliziert. Nach Coyle muss erwähnt werden, dass durch einzelne Test-Simulationsläufe keine allgemeingültigen Lösungen erwirkt werden.

Was ist die Akkreditierung?

Die Akkreditierung stammt aus dem militärischen Bereich und wird hier „…zwingend zur Überprüfung der Glaubwürdigkeit und Aussagekraft eines Simulationsmodells angesehen.“ Das Verteidigungsministerium in den USA – Zitat:“ official certification that a model, simulation, or federation of models and simulations and its associated data are acceptable for use for a specific purpose.” 

Die Grundsätzlich per Akkreditierung zu klärenden Fragen sind: a) kann das Modell für einen bestimmten Zweck genutzt werden, b) welche Kriterien müssen erfüllt werden, c) wann und bei welchen Abweichungen besteht noch Gültigkeit für das Modell und d) welche Personen sind hinreichend qualifiziert, um diese Bewertung und Prüfung (Akkreditierung) am Modell vorzunehmen?

Wie ist die Vorgehensweise bei der Simulation mit V & V?

Was sind die V & V Kriterien für Simulationsmodelle in der Logistik?

Ein erstelltes Simulationsmodell kann sowohl in der Logistik als auch in anderen Einsatzbereichen immer nur dann repräsentative Daten aufweisen, wenn die zu simulierende Unternehmenssituation exakt beschrieben wurde. Da der konkrete Modellzweck oftmals aber auf Annahmen beruht, sind laut Box „… alle Modelle falsch, aber nützlich…!“ Die Gültigkeit des Modells hängt damit maßgeblich mit der Glaubwürdigkeit zusammen und diese ist eng verbunden mit den zur Verfügung gestellten Parametern. Balci definiert eigens für diese Glaubwürdigkeit ein Hierarchie-Modell von Glaubwürdigkeitsstufen. Nach Balci stellen Rabe, Spieckermann und Wenzel die Akzeptanzbewertung in verschiedenen Ebenen gegliedert vor:

• Die Glaubwürdigkeit der Anforderungen (Requirements Credibility)
• Die Glaubwürdigkeit der Anforderungen (Application Credibility)
• Die Projektmanagementqualität (Project Management Quality)
• Die Kosten (Cost) und die Risiken (risks)

Zur praktischen Anwendbarkeit werden die Kriterien in der nachfolgenden Abbildung dargestellt, jeweils mit der Fokussierung und Praxisbeispielen.

Gibt es bestehende Rollen in den Vorgehensmodellen?

Egal, ob eine Simulationsstudie von internen oder externen Dienstleistern durchgeführt wird, müssen vor Durchführung Kompetenzen vergeben werden. Die Kompetenzen in Verbindung mit den durchzuführenden Aufgaben schaffen zu definierende Rollen. Diese Rollen fallen je nach Vorgehensmodell sehr unterschiedlich aus.

Einige Rollen stellen wir vor:

1. Die Nutzer des Simulationsmodells oder der Ergebnisse der Simulation. Die Anwender werden vom Auftraggeber unterstützt und in der Startphase vertreten.
2. Die Entscheidungsträger mit Budgetverantwortung beauftragen die Simulationsstudie – als Auftraggeber oder Sponsor.  
3. Verschiedene Experten stellen je nach Komplexität der Simulation ihr Fachwissen zur Verfügung (aus unterschiedlichen Anwendungsbereichen). 
4. Um die Schnittstellenarchitektur zu den Datenquellen, wo die Informationen der Fachabteilungen bereitstehen, kümmert sich die Fachabteilung Informationstechnologie.
5. Die Programmiertätigkeiten übernehmen ebenfalls Fachleute der Informationstechnologie, und zwar in Zusammenarbeit mit Simulationsexperten, die ihr Fachwissen zur Modellbildung und Simulationstechniken zur Verfügung stellen. 
6. V&V-Experten übernehmen die methodischen Aufgaben und die Prüfung der Modellierung.
7. Eine weitere Rolle fällt den Akkreditierungsbeauftragten zu, die die Abnahme prüfen und das verifizierte und validierte Modell hinsichtlich der Anforderungen des Anwenders respektive des Auftraggebers prüfen.

In der Beschreibung der Rollen sind immer Differenzierungen möglich, sowie doppelt Belegungen in Personalunion.

Nach Sargent unterscheiden sich in der Einbindung und Durchführung der V&V vier grundsätzliche Ansätze: Der Modellentwickler übernimmt die Verifikation und Validierung selbst. Als zweites wird genannt, dass der Modellentwickler diese Aufgabe mit dem Modellanwender übernimmt. Der dritte Ansatz ist, dass eine unabhängige Verifikation und Validierung erfolgt, beispielsweise in Anlehnung an die IEEE Standard for Verfication and Validation.^. Basierend auf Scoring Modellen baut sich der vierte Ansatz auf.

Welches Simulationsvorgehensmodell wird verwendet?

Es gibt in der Literatur viele verschiedene Arten hinsichtlich der Vorgehensweise für Modelle und Studien der Simulation. Für die Logistik und Produktion hat sich der Ansatz der VDI-Richtlinien 3633 Blatt 1 von 2008 durchgesetzt. Als internationalen Ansatz nennen wir noch Banks (2005) und Law (2007). 

Durch den Umfang der Vorgehensmodelle und die hohen Unterschiede in der Komplexität gibt es auch in der Ausführung dieser Modelle starke Abweichungen der Bezeichnungen und der einzelnen Schritte.

Nach Banks et al. (1988) wählen wir folgenden Ansatz, da dieser sich in nahezu allen Modellen wiederfinden lässt:

Als Phase eins wird die Aufgabenanalyse gefolgt von der Modellformulierung (hier wird das Konzept gebildet) genannt. Daraus ergibt sich die Modellimplementierung wiederum gefolgt von der Modellüberprüfung. Als fünfter Schritt wird die Modellanwendung genannt. In der Modellüberprüfung finden sich die Verifikations- und Validierungsansätze wieder. 

1. Phasen der Modellbildung

Die Vorgehensweise bei der Modellbildung ist immer ähnlich der folgenden: 

1. Problemstellung/ Aufgabendefinition: Hier wird die Aufgabenspezifikation erstellt. Es ist die ausführliche Beschreibung enthalten, inklusive eines Kosten-Zeit- und Ressourcenplans. 
2. Systemstudie oder Systemanalye: Hier wird das Konzeptmodell abgeleitet. 
3. Das Wortmodell dient der ausführlichen Beschreibung des Modells.
4. Das mathematische Modell und das Rechenmodell bilden die Grundlage für die Rechenbarkeit der Simulation.
5. In der Phase der Modellvalidierung wird die komplette Simulation zusammen mit ihren Parametern auf Plausibilität geprüft.
6. Dokumentenstruktur für die einzelnen Phasen der Modellbildung 

Um ein sinnvolles Vorgehen und eine ausreichende Ergebnisdokumentation der einzelnen Modellphasen zu gewährleisten, müssen für alle unter 15.4.1 genannten Phasen, Dokumente in einer einheitlichen Dokumentstruktur entwickelt werden. 

Nennenswert ist hier eine durchgehende Nummerierung, welche Dokumente in welche Kapitel und dort in welchen Abschnitt eingegliedert werden müssen. Nur so ist der Verlauf der Phasen exakt zu dokumentieren. Dies ist später bei den Tests enorm wichtig a) für die Fehlersuche und b) um die Verifikation und Validierung lückenlos überprüfen zu können. Wichtig ist, dass sofern verschiedene Varianten in der Simulation dargestellt werden, diese in den Dokumenten sehr genau beschrieben sind, um auch hier wieder eine lückenlose Dokumentation und Zuordnung herzustellen.

Welche ausgewählten Techniken der Verifikation und Validierung nutzt man?

In diesem Kapitel gehen wir kurz auf die unterschiedlichen Techniken der Verifikation und Validierung von Modellen ein. Alleine Balci stellt ca. 77 Techniken zur Verfügung. Eine Aussage, um darzustellen wie hoch die Anzahl der Techniken sein muss, mit Hilfe derer bereits Modelle verifiziert und validiert wurden. Viele dieser Techniken sind jedoch nicht auf Projekte aus der Logistik und Produktion  anwendbar. Zur besseren Abgrenzung unterscheiden wir Management-Techniken, die dann zum Einsatz kommen, wenn sie für die Simulationsmodelle eine wesentliche Rolle spielen oder Techniken des Software Engineerings beispielsweise eine semantische Analyseform.Dann nennen wir noch stark formale Techniken wie formale Korrektheitsbeweise “Current state-of-the-art-proof are simply not capable of being applied even to a reasonably complex simulation model.”

Da in der Literatur zu Techniken der V&V vor allem englische Begrifflichkeiten dominieren, stellen wir in der nachfolgenden Abbildung eine Übersicht der wichtigsten Techniken gegenüber:

Zu beachten ist, dass bei allen Tests aus dem Bereich der Verifikation und Validierung ein Grad an Subjektivität enthalten ist. Zitat Balci: “Subjectivity is and will always be part of the credibility assessment for a reasonably complex simulation study. The reason for subjectivity is two-fold: modeling is an art and credibility assessment is situation dependent.”

Beispiele für einen hohen Grad der Subjektivität sind Animations- und Begutachtungstests. Deutlich geringer ist der Grad der Subjektivität bei statistischen Techniken und Tests der internen Validität. 

Wie wird V & V in spezifischen Projekten eingesetzt?

Die hoch komplexen Simulationen aus Logistik und Produktion sind maßgeschneidert. Diese maßgeschneiderten Simulationen lassen oft die Verifikation und Validierung in den Hintergrund treten, weil hierbei typische Randbedingungen des Tailorings auftreten:

Beispielsweise wird die Komplexität der Studie beeinflusst, dazu kommt der iterative Einsatz von Simulationswerkzeug, die automatisierte Generierung des Modells und eine operative Nutzung der Simulation (Testumgebung). 

Wie hoch die Komplexität der Simulationsstudie ist, das wird nicht zuletzt vom Budget abhängig gemacht. Dazu kommt natürlich die Komplexität der Simulationsmodelle. Auch hier gibt es keine eindeutige Literatur, vielmehr gibt eine Vielzahl von Autoren unterschiedliche Definitionen und Prognosen ab.

Zusammenfassend sei zu bemerken, dass drei wesentliche Punkte der V&V innerhalb von Simulationsmodellen sind, dass a) jede Phase dokumentierte Phasenergebnisse vorweist, b)  Prüfung und Kontrolle die Studien begleiten und c) immer die Ergebnisse einer vorangegangenen Phase den Zielen der nächsten Phase als Basis dient.

Wie wird System Dynamics in der Praxis eingesetzt?

Inhaltlich werden in System Dynamics Ansätzen immer Systeme modelliert, um mit dieser Modellunterstützung das Wissen und die Erfahrungen über reales Systemverhalten zu sammeln. System bedeutet an der Stelle die Untersuchung der Gesamtheit. Das System wird von der realen Welt abgegrenzt, eine Systemgrenze wird festgelegt und die Fragestellungen werden vom Beobachtungsstandpunkt des Untersuchenden aus geführt. Hier ist wiederum zu betrachten, dass die Validität beachtet wird, das bedeutet, dass die Systemgrenze (innerhalb derer die Parameter liegen) korrekt definiert werden muss, immer in Bezug zum Untersuchungszweck. Ein System muss zu Untersuchungszwecken immer in kleinere Teilbereiche aufgesplittet werden. Die Teilbereiche oder Elemente (kleinste Einheit von Subsystemen) werden oft auch als Subsysteme darstellt. (Subsysteme 1. bis n-ter Ordnung). Die Elemente haben als Verbindungen sogenannte Beziehungen zueinander, deren Verhalten immer das ganze System beeinflussen. Systeme, die sich im Zeitablauf verändern, werden als dynamische Systeme bezeichnet. 

Alle Aktivitäten, die miteinander und unabhängig voneinander ablaufen, stehen in Bezug zueinander (auch wenn dies nicht auf den ersten Blick erkennbar ist) als Wirkungsart. Sind diese Wirkungen auf einzelne Elemente bekannt, können dadurch immer Verhalten des Gesamtsystems abgeleitet werden. 

Hier wird auf die tiefergehende Unterscheidung von Wirkungsverläufen verzichtet.

Das Systemverhalten wird in der Praxis immer von der Systemstruktur verursacht. Aus diesem Grund müssen Kenntnisse über die Systemstrukturen vorliegen, da diese für eine System Dynamics Untersuchung notwendig sind. Als Basis für Interpretationen in den Systembeobachtungen dient die Struktur plus die Veränderlichkeit im Zeitablauf. 

In der Literatur herrscht keine Einigkeit über die Anordnung von Elementen im System, sie werden als Gefüge, Anordnungsmuster, Ordnungen oder Wechselbeziehungen bezeichnet. Diese Elemente werden stark an die Strukturmuster von Hans Ulrich angelehnt verwendet. Neben der räumlichen Beziehung des Begriffes Struktur wird immer die zeitliche Dimension berücksichtigt. In praktischen Systemen gibt es immer eine sogenannte natürliche Ordnung. Sofern dies nicht in das menschliche Denken von Ordnungsstrukturen passt, werden Systeme als chaotisch bezeichnet.

Der Begriff systemisches Denken ist in der Literatur nicht einheitlich definiert. Im Ursprung wurde dieser Begriff von Ulrich und Probst propagiert. Laut Senge ist das „systems thinking“ ein Konstrukt, das den Rahmen bietet, ganzheitlich zu denken.

„Systems thinking“ ist der ‘cornerstone’, der ‘personal mastery’, ‘mental models’, ‘shared vision’ sowie ‘team learning’ in einem zusammenhängenden, verständlichen theoretischen und praktischen Rahmen zusammenfasst und verschmilzt, mit dem Ziel, eine lernende Organisation zu schaffen. 

„Forrester sieht im Systemdenken lediglich eine eher generelle und oberflächliche Bewusstseinserlangung der Existenz von Systemen. Dabei sieht er drei mögliche Wirkungen von ‘systems thinking’, von denen die ersten beiden als positive Einflüsse betrachtet werden können: 

• ´Systems thinking’ kann konstruktiven Einfluss ausüben, indem es auf die Existenz und die Brisanz von Systemen aufmerksam macht.
• Systems thinking’ kann zwar als ‘door-opener’ für System Dynamics und für ein tieferes Systemverständnis agieren, aber … 
• risikobehaftet ist hierbei jedoch derjenige, der davon überzeugt ist, dass er mit ‘systems thinking’ Systeme und ihre Verhaltensweisen vollkommen verstanden hat. „Some people feel they have learned a lot from systems thinking, but they have gone less than 5 percent of the way toward a genuine understanding of systems. The other 95 percent lie in the rigorous system dynamics-driven structuring of these models and in the simulations based on those models.“ FORRESTER begründet seine Denkweise damit, dass ‘systems thinkers’ zur Visualisierung mit Wirkungskreisläufen arbeiten, in denen nicht wie in Flußdiagrammen in ‘levels’ und ‘rates’ unterschieden wird.“

In der Praxis werden die Lehr- und Lehrmethoden im Systemdenken verwendet. Gerade Teams bieten sich an, um gemeinsam an Aufgabenstellungen zu arbeiten. Systems Dynamics bietet die komponentenbasierte Systemmodellierung und Systemanalyse: Erweiterung des System-Dynamics-Ansatzes zur Nutzung im strategischen Management.