Mensch trifft Maschine: Die quantitativen Morningstar Ratings

Die Morningstar Analyst Ratings bewerten Fonds qualitativ. Um das Rating-Universum zu vergrößern, replizieren wir seit 2017 die Analyst Ratings mit einem maschinellen Lern-Algorithmus. Eine Einführung

Ali Masarwah 29.03.2021
Facebook Twitter LinkedIn

Die Analyse von Investmentfonds ist ein Bestandteil der DNA von Morningstar. Wie kein anderes unserer Rating-Systeme steht dafür das Morningstar Analyst Rating. Es wird von unseren Fondsanalysten verfasst und hat den Anspruch, Anlegern einen qualitativen Einblick in die wichtigsten Eigenschaften eines Fonds zu geben. Morningstar verfügt mit mehr als 100 Analysten über eines der größten unabhängigen Manager-Research-Teams weltweit.

Das 2011 aufgelegte Analyst Rating bietet eine zukunftsorientierte Bewertung. Es hat also den Anspruch, Prognosekraft zu entwickeln und die Frage zu beantworten, wie sich Fonds in verschiedenen Marktumfeldern verhalten könnten und hilft Investoren bei der Auswahl überlegener Fonds. Es basiert auf der Überzeugung eines Analysten, dass ein Fonds in der Lage ist, eine relevante Benchmark risikoadjustiert über einen gesamten Marktzyklus von mindestens fünf Jahren zu übertreffen. ETFs mit positiven Analyst Ratings können Anleger erwarten lassen, dass der Indexfonds in der Lage sein wird, seine Peer Group, die größtenteils aus aktiv verwalteten Fonds zu besteht, entsprechend zu übertreffen.

2019 haben wir das Analyst Rating überarbeitet. Die wichtigsten Kriterien wurden von fünf auf drei reduziert, und wir bemessen den Kosten ein größeres Gewicht bei. Ferner vergeben wir nunmehr die Ratings nicht länger auf Fondsebene, sondern auf Ebene der einzelnen Fondstranchen einer Strategie. Der Hintergrund: Das Fonds-Alpha fällt je nach Gebühren so unterschiedlich aus, dass es für Anleger einen fundamentalen Unterschied machen kann, in welcher Fondstranche er investiert ist. 

Den Hebel angesetzt: Das Morningstar Quantitative Rating™ for Funds 

Kommen wir zurück zum Morningstar Quantitive Rating. Was hat es damit auf sich? Warum wird es berechnet? Wie wird es berechnet, und wie zuverlässig spiegelt es das wider, was Analysten aus Fleisch und Blut prüfen, gewichten und bewerten? 

Fangen wir mit dem Grund an, warum wir das Morningstar Quantitative Rating berechnen Es ist einer wichtigen Beschränkung geschuldet, die unserem Analyst Rating zwangsläufig auferlegt ist: Wegen des hohen Aufwands des Rating-Prozesses ist die Anzahl der Fonds, die unsere Analysten bewerten können, begrenzt.

Zur Erinnerung: Es gibt weltweit über 110.000 genuine Fonds und insgesamt über 320.000 Fondstranchen. Auch wenn unsere Analysten vermögensgewichtet einen ordentlichen Anteil des globalen Fondsuniversums bewerten, so kommen sie doch nur auf knapp 3700 Fonds bzw. über 22.000 Fondstranchen.

Maschninelles Lernen steht im Fokus des MQR

Wir haben deshalb ein quantitatives Modell entwickelt, das die Entscheidungsprozesse unserer Analysten repliziert. Bei der Entwicklung wurden ihre bisherigen Rating-Entscheidungen und die zur Unterstützung dieser Entscheidungen verwendeten Daten genutzt. Das Ergebnis des Machine-Learning-Modells ist das Morningstar Quantitative Rating for Funds (MQR). Es wird ausschließlich bei Fonds angewendet, die kein qualitatives Morningstar Analyst Rating halten. Es drückt eine Bewertung aus, die ein Morningstar-Analyst dem Fonds zuweisen könnte, wenn er den Fonds analysieren würde. Mit diesem neuen Ansatz können wir fast sechsmal so viele Fonds analysieren, wie es bisher möglich war. 

Für das quantitative Rating kommen nur Publikumsfonds (inklusive ETFs) in Frage, die derzeit kein Analyst Rating halten und die sich in einer Kategorie befinden, in der Analyst Ratings vergeben werden. Im Folgenden wollen wir das MQR, das monatlich berechnet wird, näher erläutern. 

Die Philosophie hinter dem Morningstar Quantitative Rating™ for Funds 

Zu Beginn standen uns zwei Wege offen, um unsere Analyst Ratings quantitativ zu erweitern: Wir hätten entweder den Denkungsprozess des Analysten replizieren können, ohne auf die Frage Rücksicht zu nehmen, ob die Output-Ergebnisse in Einklang mit den Research Ergebnissen unserer Fondsanalysten stehen würden. Als Alternative stand der Versuch, den Analysten-Output so genau wie möglich zu replizieren, ohne Rücksicht auf den Research-Prozess als solchen zu nehmen. Weil der Versuch, einen gedanklichen Analyseprozess mechanisch zu automatisieren, eine enorme Komplexität mit sich gebracht hätte, haben wir uns entschieden, ein Modell zu entwickeln, das die Ergebnisse des Analyseprozesses so genau wie möglich wiedergibt. 

Das Analyst Rating zu replizieren, war wünschenswert, da die Empfehlungen unserer Analysten für Investoren einen Mehrwert darstellen. Wir haben zuletzt Ende 2017 die Performance des Morningstar Analyst Ratings überprüft und sind von den Ergebnissen ermutigt. Daher schien es von Anfang an plausibel, dass auch eine synthetische Replikation der Entscheidungsprozesse unserer Analysten wertvolle Ergebnisse liefern kann. Dass uns dies mit dem MQR gelungen ist, wollen wir weiter unten darlegen. Doch der Reihe nach. Halten wir zunächst die Vorteile unseres MQR fest. Es liefert nicht nur eine Abdeckung des weltweiten Fondsuniversums. Es wird zudem auch monatlich aktualisiert. Eine derartig hohe Frequenz zu erreichen, wäre in dem aufwendigen händischen Analyseprozess nicht möglich. 

Die Methodik der quantitativen Bewertung im Überblick 

Das MQR besteht aus einer Serie von sieben Einzelmodellen, die so zusammenwirken, dass eine bestmögliche Annäherung an das Analyst Rating möglich ist. Visuell kann man sich dieses Verfahren als einen zweistufigen Prozess vorstellen. Zuerst schätzen wir die drei Pillar-Ratings (Pillar ist englisch für Säule) für jeden einzelnen Fonds. Die Pillar-Ratings sind die Grundlagen der Analyst Ratings. Hier geht es um die Analyse des Anbieters (Parent), des Fondsmanagers (People) und des Investmentprozesses (Process). Danach wird das Gesamt-Rating ermittelt.

Grafik: Wie das MQR entsteht Schaubild Random Forest

Um die drei Einzelbewertungen zu ermitteln, haben wir einen maschinellen Lernalgorithmus gewählt, der auch als "Random Forest" bekannt ist. Er ermöglicht es, eine Beziehung zwischen den Bewertungen gemäß der drei Säulen und der tatsächlichen Fonds-Attribute herzustellen. Um auf der Ebene der Säulen zu einem Rating zu kommen, wurden Daten zu den Fonds erhoben, die von unseren Analysten derzeit geprüft werden. Es wurden insgesamt mehr als 180 Attribute und mehr als 10.000 Rating-Updates berücksichtigt, um das Machine Learning Modell zu trainieren. Nach zahlreichen Iterationen wurden nur die für die Klassifizierung der einzelnen Säulen wichtigsten Attribute beibehalten. 

Für jede Säule wurden zwei Random Forest-Modelle geschätzt, die darauf abzielen, die Wahrscheinlichkeit zu bestimmen, dass der Fonds in dieser Säule ein positives oder ein negatives Rating erhält. Jedes Modell spuckt einen Wahrscheinlichkeitswert aus, ob eine Säule positiv oder negativ bewertet wird. Durch die Kombination dieser beiden Wahrscheinlichkeiten über eine gewichtete Summierung wird ein robusterer Schätzwert erreicht. Da es fünf Säulen gibt, haben wir also zehn einzelne Random Forest Modelle programmiert, um diese Fragen zu beantworten - und um zehn Wahrscheinlichkeiten (zwei pro Säule) zu erhalten. Dann werden diese Wahrscheinlichkeiten zu einem Gesamt-Rating für jede Säule aggregiert. 

Die Berechnung des MQR: People und Process 

Wir implementieren eine Geschäftsregel, um sicherzustellen, dass sich die People- und Process Pillar-Ratings nicht abhängig von der Anteilsklasse ändern und dass die People-Scores innerhalb der Portfoliomanagement-Teams nicht variieren. Technisch gesehen hat jede Fondsanteilsklasse ihre eigenen People- und Process Pillar-Ratings, die durch das Modell erzeugt werden, aber wir wollen sicherstellen, dass diese für denselben Fonds konsistent sind. Um dies zu gewährleisten, implementieren wir einen vermögensgewichteten Durchschnitt der People- und Process Pillar Ratings über die Anteilsklassen hinweg, wobei die Gewichtung durch das Nettovermögen auf Anteilsklassenebene bestimmt wird.

Falls das Nettovermögen nicht verfügbar ist, werden die Ratings auf Anteilsklassenebene gleichgewichtet. Um sicherzustellen, dass das People Pillar Rating konsistent auf ein Team angewendet wird, erstellen wir Scores auf Managerebene, indem wir die People Pillar Ratings der von ihnen verwalteten Fonds mitteln. Anschließend rollen wir die People Pillar-Ratings für die Fonds auf, indem wir die Manager-Scores, gewichtet nach Betriebszugehörigkeit, mitteln. Bei Fonds, die keine Managernamen melden, wird diese Logik nicht angewendet.

Die endgültigen Pillar-Ratings werden nach Glättung, Asset-Gewichtung und Anpassung für Teams als Pillar-Rating-Schätzung für den aktuellen Monat für jede Fondsanteilsklasse gespeichert. Wenn ein Analyst einen Fonds bewertet hat, der zur gleichen Strategie gehört, erben alle anderen Fonds unter der gleichen Strategiekennung die vom Analysten ermittelten Pillar-Rating-Zuordnungen für Menschen und Prozesse. Dadurch wird sichergestellt, dass die Analystensicht genutzt wird, wann immer sie verfügbar ist, um die Konsistenz zwischen dem Analysten-Rating und dem quantitativen Rating-System zu gewährleisten, wenn es um die Säulen "People" und "Process" geht.
Prozess-Säulen.

Bei Indexfonds weist das Analystenteam allen Produkten, die mit einer Firma verbunden sind, denselben People Pillar zu. Um dies zu simulieren, weist das quantitative System allen Indexprodukten innerhalb einer Anlageklasse zu einer Firma denselben People-Score zu. Wir haben uns entschieden, weiter nach Anlageklassen zu filtern, um Raum für eine gewisse Variation in der fachlichen Kompetenz zu lassen. In ähnlicher Weise weist der Analystenfonds allen Indexprodukten, die die gleiche Benchmark abbilden, die gleiche Prozess-Säule zu. Das quantitative System wendet die gleiche Logik an, indem es alle rohen Process Pillar Ratings, die an eine primäre Prospekt-Benchmark gebunden sind, mittelt.

Die Berechnung des MQR: Parent 

Im selben Sinne implementieren wir eine letzte Geschäftsregel. Für den Fall, dass ein Analyst-Rating für den  Parent Pillar eines Fonds für einen Anbieter vorliegt, unterdrücken wir die quantitative Parent Pillar für alle Fonds dieser sogenannten Branding Entity und verwenden standardmäßig die Meinung des Analysten. Auf diese Weise stellen wir die Konsistenz der Meinungen zwischen Analysten- und Quant-Rating-Systemen sicher, wenn es um die Parent Pillar geht.

Nach der Schätzung der drei Einzel-Ratings folgt im letzten Schritt die Berechnung des MQR auf der Skala „Negative“, „Neutral“, „Bronze“, „Silver“ oder „Gold“. Das Modell beruht auf einfachen Prämissen. Zuerst nehmen wir unsere Stichprobe der echten Morningstar Analyst Ratings und weisen ihnen Zahlenwerte zu: „Negative“ = 1, „Neutral“ = 2, „Bronze“ = 3, „Silver“ = 4 und „Gold“ = 5. Anschließend weisen wir den echten Pillar-Ratings folgende numerische Werte zu: „Negative“ = 0, „Neutral“ = 0,5 und „Positive“ = 1. 

Danach führen wir eine multivariable lineare Regression durch, um Steigungskoeffizienten für jede Säule zu identifizieren. Dieses Modell hat den Vorteil, dass es uns nicht nur darüber informiert, wie wir bei einem falschen Pillar-Rating eine Änderung des Gesamtratings erwarten können, sondern auch, wie wir Gesamt-Ratings auf der Grundlage einer Reihe von Pillar-Ratings aufbauen. 

Die Modellgenauigkeit 

So weit, so gut. Wir haben das Morningstar Quantitative Rating Modell entwickelt, um das Verhalten der Fondsanalysten beim Fonds-Rating nachzuahmen. Und obwohl wir glauben, dass die Vorhersage einer zukünftigen Out-of-Sample-Performance der wichtigste Aspekt für Investoren ist, haben wir getestet, wie genau die quantitativen Ratings im Vergleich mit Analyst Ratings abschneiden. 

Der Vergleich der MQR mit den Analyst Ratings fällt zufriedenstellend aus. Das Modell kann die Unterschiede zwischen „Negative“ und „Neutral“ oder dem „Neutral“-Rating und den positiven Rating-Stufen recht gut erfassen. Die untere Tabelle zeigt die weitgehende Übereinstimmung zwischen den beiden Rating-Systemen.

Sind MQR und Analyst Ratings deckungsgleich?

Um die Genauigkeit zu bewerten, betrachten wir sowohl die positive als auch die negative Richtung. Im Falle von Negativen Ratings schauen wir, wie gut sie mit der Analystenmeinung übereinstimmen können, die eine unterdurchschnittliche oder niedrige Säulenbewertung zuweist. Unsere Genauigkeit ist hier nahezu perfekt und liegt für alle drei Säulen konstant über 95,0 Prozent. Das ist naheliegend, denn die Attribute von Fonds mit schlechten Analyst Ratings sind offensichtlich: hohe Gebühren, Managerwechsel und eine schlechte Performance.

Bei positiven Werten schauen wir uns an, wie gut das quantitative Rating mit der Meinung unserer Analysten übereinstimmen kann, der einen überdurchschnittlichen oder hohen Wert für die jeweilige Säule vergibt. Unsere Genauigkeit variiert je nach Säule. Mit einer Genauigkeit von 95,0 % schneidet die Säule "Parent" am besten ab. 

Von allen Tests haben die positiven Bewertungen für People und Process die geringste Genauigkeit mit 81,4 % bzw. 75,7 %. Es gibt jedoch nur sehr wenige Fälle von großen Abweichungen zwischen den Pillar-Ratings der Analysten und den quantitativen Säulen-Ratings. Wenn die beiden Systeme nicht übereinstimmen, liegt das oft daran, dass  das quantitative System zum Mittelwert tendiert. 

Grafik: Die Deckungsgrade MAR und MQRGrad der Übereinstimmung

Und was ist mit der Performance des MQR? 

Seit der Einführung der quantitativen Morningstar-Ratings im Juni 2017 haben wir deren Performance getrackt. Das System ist in der Lage deutlich über- und unterdurchschnittlich performende Fonds zu identifizieren. In der unteren Abbildung zeigen wir das Ergebnis einer Event-Studie der durchschnittlichen Ex-Kategorie-Renditen der MQR-Rating seit der Einführung bis Juni 2020.

Wenn wir für Stil und Risiko adjustieren, sehen wir eine ausgeprägte Trennung zwischen den Fonds-Ratings. Über einen Zeitraum von 12 Monaten übertreffen Fonds mit Gold-Rating ihren Kategoriedurchschnitt um 0,42 %. Der größte Performance-Unterschied besteht zwischen den Fonds mit negativem und neutralem Rating. Neutral bewertete Fonds schneiden wie der Durchschnitt der Kategorie ab, während negativ bewertete Fonds um 0,72 % schlechter abschneiden als ihre Konkurrenten.

Grafik: Die MQR-Bilanz seit seinem Start 2017Performance von Fonds mit MQR Ratings

Wie stabil ist das MQR? 

Zum Abschluss ein Blick auf die Stabilität der MQR über die Zeit. Die Ratings zeigen sich als recht stabil, wie aus der unteren Tabelle hervorgeht. Wenn ein Fonds ein negatives Rating erhält, würden wir erwarten, dass er nur eine Wahrscheinlichkeit von 0,24 Prozent hat, ein Jahr später ein "Bronze"-Rating und mit einer Wahrscheinlichkeit von 0,04 Prozent, ein "Gold"- oder "Silver"-Rating zu erhalten. Indes würde ein Fonds mit Gold-Rating nur mit einer 2,41-prozentigen Wahrscheinlichkeit ein Jahr später ein Rating "Neutral" erhalten. Die Wahrscheinlichkeit, dass ein "Gold"-Fonds nach zwölf Monaten zu einem "Negative"-Fonds wird, liegt bei 0,01 Prozent. Mit anderen Worten: Die MQR haben den Test bestanden!

Tabelle: Die Übergangswahrscheinlichkeiten der MQRRating Stabilitaet

Weitere Informationen zu unserem MQR erhalten Sie hier.

Verpassen Sie nichts! Mit unseren Morningstar Research Newslettern für Investoren bekommen Sie zeitnah, gratis und in verständlicher Sprache das wichtigste Research von Morningstar frisch auf den Tisch! Hier können Sie sich für unsere Fonds- und für den ETF-Newsletter anmelden - und immer auf dem Laufenden bleiben!

Die Analysen in diesem Artikel basieren auf unserem Tool für professionelle Anleger. Weitere Informationen zu Morningstar Direct erhalten Sie hier.

 

 

Facebook Twitter LinkedIn

Über den Autor

Ali Masarwah

Ali Masarwah  Ali Masarwah war von 2011 bis Frühjahr 2021 als Chefredakteur für die deutschsprachigen Anleger Websites von Morningstar verantwortlich