Bewertungssystem
Die Qualität der Kliniken hinsichtlich der einzelnen Leistungsbereiche wird anhand von SMR-Werten (standardisiertes Mortalitäts- bzw. Morbiditätsratio) sowie der zugehörigen 95 %-Konfidenzintervalle (KI) eingeschätzt. Dazu werden für jeden Indikator eines Leistungsbereichs neben den Werten der einzelnen Klinik auch die Bundesvergleichszahlen berechnet.
Für die öffentliche Berichterstattung im AOK-Gesundheitsnavigator werden die Kliniken sowohl insgesamt als auch nach Einzelindikatoren pro Leistungsbereich bewertet. Die Ergebnisse werden anhand der folgenden Symbole dargestellt:
Gesamtbewertung
Überdurchschnittliche Qualität, das heißt, eine Klinik gehört zu den 20 Prozent der Kliniken mit einer geringen Wahrscheinlichkeit für unerwünschte Ereignisse
Durchschnittliche Qualität, das heißt, eine Klinik gehört zu den 60 Prozent der Kliniken mit einer mittleren Wahrscheinlichkeit für unerwünschte Ereignisse
Unterdurchschnittliche Qualität, das heißt, eine Klinik gehört zu den 20 Prozent der Kliniken mit einer höheren Wahrscheinlichkeit für unerwünschte Ereignisse
Einzelindikatoren
Überdurchschnittliche Qualität
Durchschnittliche Qualität
Unterdurchschnittliche Qualität
Die Vergabe der Symbole erfolgt anhand des 95 %-KI der SMR-Werte. Dadurch ist gewährleistet, dass neben der eigentlichen SMR-Kennzahl auch die Sicherheit der statistischen Aussage berücksichtigt wird.
Die 20 Prozent der Krankenhäuser mit den niedrigsten KI-Obergrenzen erhalten drei Lebensbäume bzw. ein Plussymbol. Dies sind die Krankenhäuser, mit einer geringen Wahrscheinlichkeit für unerwünschte Ereignisse. Die 20 Prozent mit den höchsten KI-Untergrenzen sind die Krankenhäuser mit einer höheren Wahrscheinlichkeit für unerwünschte Ereignisse. Sie werden mit einem Lebensbaum bzw. einem Minussymbol bewertet. Alle übrigen Krankenhäuser mit einer mittleren Wahrscheinlichkeit für unerwünschte Ereignisse erhalten bei der Gesamtbewertung zwei Lebensbäume bzw. ein Indikatorsymbol in Kreisform.
Kliniken mit weniger als fünf Ereignissen pro Indikator, die auf der Grundlage des 95%-KI des SMR-Wertes als unterdurchschnittlich eingestuft würden, werden im AOK-Gesundheitsnavigator aus "durchschnittlich", d. h. mit einem Indikatorsymbol in Kreisform bewertet. Dadurch wird verhindert, dass Krankenhäuser aufgrund von zufälligen Ereignissen eine unterdurchschnittliche Bewertung erhalten.
Die Gesamtbewertung beruht auf dem Ergebnis des Gesamtindikators. Für diesen wird analog verfahren. Allerdings werden hier die Komplikationen bzw. unerwünschte Folgeereignisse, die getrennt in die Einzelindikatoren einfließen, gemeinsam berücksichtigt, wodurch sich die statistische Aussagekraft erhöht.
Es ist möglich, dass sich zwei Krankenhäuser bei gleicher Bewertung der Einzelindikatoren dennoch in der Gesamtbewertung eines Leistungsbereichs unterscheiden. Umgekehrt führt eine vergleichsweise schlechtere oder bessere Bewertung bei einzelnen Einzelindikatoren nicht unbedingt zu einem schlechteren oder besseren Gesamtergebnis. Dies ergibt sich aus den methodischen Festlegungen für die Berechnungen. So ist die Gesamtbewertung nicht der Durchschnittswert aus den Einzelbewertungen, sondern sie wird separat berechnet. Dabei wird in der Gesamtbewertung die Mehrfachzählung von Komplikationsfällen aus verschiedenen Einzelindikatoren vermieden. Auch kann ein Einzelergebnis eher zufälliger Natur sein, was zu einer durchschnittlichen Einzelbewertung führt, weil der Einzelindikator statistisch weniger leicht auffällig wird, während in der Zusammenschau aller Komplikationen eine verlässlichere Gesamtbewertung des Leistungsbereichs erfolgt.
Beispiel
Krankenhaus A hat bei allen Einzelindikatoren und auch bei der Gesamtbewertung eines Leistungsbereichs eine durchschnittliche Bewertung erhalten.
Der SMR-Wert für die Gesamtbewertung ist 1,4 (95% KI: 0,7 - 2,1) bei 50 behandelten Fällen.
Bei Krankenhaus B sind die Einzelindikatoren ebenfalls alle als durchschnittlich beurteilt worden, die Gesamtbewertung besteht jedoch aus einem Lebensbaum, der vergleichsweise unterdurchschnittliche Qualität anzeigt.
Der SMR-Wert für die Gesamtbewertung ist 1,6 (95% KI: 1,0 - 2,2) bei 70 behandelten Fällen.
Der höhere SMR-Wert mit der höheren KI-Untergrenze von Krankenhaus B zeigt an, dass die Gesamtzahl der beobachteten Komplikationen gegenüber der Anzahl der erwarteten Ereignisse in diesem Haus stärker erhöht war als in Krankenhaus A.