Validierungsmethoden für Gültigkeitstest von Scoringmodellen
(firmenpresse) - Berlin, 12. September 2011 — Das Thema Scoring gewinnt in der Bankenbranche zunehmend an Bedeutung und wird in Öffentlichkeit sowie Medien immer öfter diskutiert. Welche Fehler und Probleme im Scoring auftreten können, wird in einem Whitepaper vom BI-Analysten- und Beratungshaus mayato aufgezeigt, das die typischerweise verwendeten Elemente eines Risikoscorings beschreibt. Anhand von kritischen Faktoren bei der Definition von Scoringmodellen werden Prüfungsmöglichkeiten diskutiert. Das komplette Werk ist unter www.mayato.com kostenlos erhältlich.
Obwohl Scoring als Risikomanagement-Werkzeug wichtig ist, hat es doch auch Grenzen und Risiken. Sogenannte PD (Probability of Default)-Scoring Modelle, die im alltäglichen Einsatz bei Banken sind, schätzen die Ausfallwahrscheinlichkeit innerhalb eines vorgegebenen Zeitraums. Im Normallfall sind es 12 Monate ab dem Ratingzeitpunkt. Generell gibt es unterschiedliche Faktoren, die die Qualität des Scorings maßgeblich beeinträchtigen.
Datenqualität
Eine korrekte Datenqualität ist eine essentielle Anforderung, die ein Scoringsystem stellt. Im Zuge von Basel II werden in PD-Modellen die Kreditnehmer in Bonitätsklassen eingestuft. Jede dieser Bonitätsklassen hat eine Wahrscheinlichkeit hinterlegt, die das Risiko eines Ausfalls beschreibt. Folgen von „schlechten“ Modellen können eine ungenaue Bonitätseinteilung oder eine ungenaue Ausfallrate der einzelnen Bonitätsstufen sein. Diese hat einen direkten Einfluss auf das zu hinterlegende Eigenkapital. Inkorrekte Daten ergeben daher auch eine inkorrekte Einteilung der Kreditnehmer in Bonitätsklassen und das Modell wird demzufolge instabil sein.
Konjunkturelle Schwankungen
Besonders bei Corporate- aber auch bei Retail-Krediten haben konjunkturelle Schwankungen einen entscheidenden Einfluss auf die Ausfallswahrscheinlichkeit. Um festzustellen, ob ein Scoringsystem diesen Schwankungen standhält, muss eine ständige Überwachung der Stabilität und der Trennschärfe über die Zeit erfolgen. Nur so kann eine eventuelle Notwendigkeit zur Anpassung des Modells festgestellt werden.
Verschiebungen von Merkmalsgewichtungen
Jedes Merkmal hat eine bestimmte Auswirkung auf den vom Modell ermittelten Score. Falls sich diese Merkmale im Laufe der Zeit in ihrer Gewichtung, aber auch in ihrer Zusammensetzung (Klassengrenzen wie z. B. Einkommensklassen etc.) ändern, müssen auch die einzelnen Eingangsvariablen, die in ein Modell fließen, einer stetigen Überprüfung unterzogen werden.
Unzureichende Informationen über die Kreditnehmer
Unzureichende Informationen können z. B. fehlende Informationen sein. Wenn für ein Scoringsystem wichtig ist, dass ein bestimmtes Merkmal vorhanden ist, darf dieses in den Quelldaten nicht fehlen. Wenn für einen Großteil der Kreditnehmer bestimmte Einflussfaktoren nicht vorhanden sind, werden sie in der Regel mit einer Standardbelegung versehen. Eine gute Validierung weist diese Merkmale aus und es kann darauf reagiert werden.
Schlecht getroffene Klasseneinteilung
In den meisten Scoringmodellen wird eine Klasseneinteilung der einzelnen Merkmalsausprägungen durchgeführt (z. B. Altersklassen <20 ; 21-30; >30). Wenn diese Klassengrenzen schlecht gewählt sind, hat das einen direkten Einfluss auf die Vorhersagequalität des Modells. Ebenso stellt eine zu geringe oder zu hohe Klassenanzahl ein Problem dar.
Validierung/ Backtesting
Validierungs- bzw. Backtesting-Methoden, die ein Bündel von Maßnahmen bezeichnen, helfen dabei, den Einfluss dieser Faktoren möglichst klein zu halten und die Gültigkeit der verwendeten Scoringmodelle nachzuweisen bzw. zu überprüfen.
Dazu zählt beispielsweise die Validierung der Modelle für Untergruppen. Ein PD-Scoring-Modell bezieht sich auf die Betrachtung gleicher Rating-Typen (Retail Kredite, Hypothekar Kredite etc.). Im Sinne des Backtestings ist es interessant zu sehen, wie sich ein Modell in der Anwendung auf verschiedene Untergruppen verhält. Zum Beispiel könnte untersucht werden, wie sich das gewählte Ratingmodell (z. B. Retail Kredit) in Bezug auf verschiedene Organisationseinheiten (einzelne Business Units, Abteilungen etc.) einer Bank verhält. Ein weiteres Beispiel für eine zu untersuchende Untergruppe wären Kredite, deren Engagement („Exposure“) in einem bestimmten Bereich liegt.
Weitere Informationen liefert das Whitepaper unter: http://www.mayato.com/images/stories/downloads/mayato_Whitepaper_Scoring_Backtesting.pdf
mayato ist als Analysten- und Beraterhaus spezialisiert auf Business Intelligence. Von Niederlassungen in Berlin, Bielefeld und Heidelberg aus arbeitet ein Team von erfahrenen IT- und BI-Architekten, Statistikern, Analysten sowie fachlichen Experten für spezielle Themen wie Betrugserkennung, Data Mining und Analytisches CRM. Zu den Kunden von mayato zählen namhafte Unternehmen aus unterschiedlichen Branchen. Als Partner mehrerer Softwareanbieter ist mayato grundsätzlich der Neutralität und in erster Linie der Qualität seiner eigenen Dienstleistungen verpflichtet. Nähere Infos unter www.mayato.com.
mayato GmbH
Am Borsigturm 6
D-13507 Berlin
Dr. Marcus Dill
Tel. +49 (0)178 490 67 27
marcus.dill(at)mayato.com
Stemmermann – Text & PR
Hinter dem Rathaus 1
D-23966 Wismar
Tanja Stemmermann
Tel. +49 (0)3841 22 43 14
info(at)stemmermann-pr.de