Bewertung
Um eine verlässliche Aussage darüber zu machen, ob ein Krankenhaus bei einer bestimmten Behandlung eine überdurchschnittliche oder eine unterdurchschnittliche Qualität aufweist, bedarf es eines speziellen statistischen Verfahrens. Grundlage für diese Berechnung sind im Wesentlichen Daten, die Kliniken an die AOKs liefern, um die Behandlung der Versicherten abzurechnen. Die Daten sind verschlüsselt und erlauben keinen Personenbezug. Die AOKs leiten die Informationen an das Wissenschaftliche Institut der AOK (WIdO) weiter, das die Daten aufbereitet, bewertet und zu einem Gesamtergebnis zusammenfasst.
Das QSR-Verfahren beurteilt die Qualität einer Behandlung anhand von möglichen Komplikationen bzw. unerwünschten Folgeereignissen (Indikatoren), die sowohl während des Krankenhausaufenthalts als auch bis zu einem Jahr nach dem betrachteten Eingriff auftreten können. Dazu nimmt das WIdO jedes Krankenhaus einzeln unter die Lupe und vergleicht es mit allen anderen Krankenhäusern bundesweit, die das interessierende Krankheitsbild mit einer bestimmten Häufigkeit behandeln. Wenn Komplikationen bzw. unerwünschte Folgeereignisse auftreten, werden sie bei der Berechnung der Ergebnisse berücksichtigt.
Zuverlässige Zahlen zum Ziel
Zunächst zählen die Fachleute im WIdO die interessierenden und tatsächlich aufgetretenen Ereignisse in einem Krankenhaus. In einem zweiten Schritt bestimmen sie pro Krankenhaus für jeden Indikator die Anzahl der statistisch zu erwartenden Ereignisse. Dies erfolgt mithilfe eines statistischen Verfahrens, das logistische Regression heißt. Anschließend vergleichen sie für einen Indikator die beobachteten mit den erwarteten Ereignissen. Das Ergebnis dieser Berechnung, also das Verhältnis zwischen tatsächlich beobachteten und erwarteten Ereignissen in einem Krankenhaus, wird als Standardisierte Mortalitäts-Ratio beziehungsweise Standardisierte Morbiditäts-Ratio, kurz SMR, bezeichnet.
Allerdings kann sich dieser Wert auch durch zufällige Ereignisse verändern. Komplikationen bzw. Folgeereignisse können sich in einem Jahr häufen, im nächsten aber selten sein. Das bedeutet, dass der errechnete SMR-Wert nicht mit absoluter Sicherheit zutreffend ist. Um eine möglichst genaue Aussage zu treffen, wird deshalb zu jedem errechneten SMR-Wert ein Bereich bestimmt, in dem der wahre, aber unbekannte Wert mit hoher Sicherheit liegt. Üblicherweise wird eine Wahrscheinlichkeit von 95 Prozent gefordert. Dieser Bereich wird Vertrauensbereich (Konfidenzintervall) genannt. Der Vertrauensbereich gibt jeweils einen Hinweis darauf, wie groß die zufällige Schwankung des SMR-Werts ist.
Um Krankenhäuser mit ihren unterschiedlichen Patientinnen und Patienten vergleichen zu können, lassen die QSR-Fachleute außerdem u. a. das Alter, das Geschlecht und bestimmte Begleiterkrankungen der behandelten Patienten in ihre Berechnungen einfließen, da sich diese Faktoren auf den Behandlungserfolg auswirken können. In der Statistik bezeichnet man dieses Verfahren als Risikoadjustierung.
Schließlich werden anhand der SMR-Werte und der dazugehörigen Vertrauensbereiche die Ergebnisse einzelner Indikatoren bewertet. Ziel ist es, nicht nur den SMR-Wert, sondern auch die Sicherheit der statistischen Aussage zu berücksichtigen. Dabei gilt zum einen: Je kleiner der obere Grenzwert des Vertrauensbereichs ist, desto besser ist das Ergebnis. Zum anderen gilt: je enger das Konfidenzintervall, desto zuverlässiger ist das Ergebnis. Ein Beispiel: Bei chirurgischen Komplikationen liegt der Vertrauensbereich in Klinik A zwischen 1,6 und 2,4 und in Klinik B zwischen 0,0 und 1,4. Dabei ist 2,4 die obere Grenze des Vertrauensbereichs in Klinik A und 1,4 in Klinik B. Klinik A schneidet hier schlechter ab, weil 2,4 größer als 1,4 ist. Gleichzeitig kann das Ergebnis von Klinik A mit einer größeren Sicherheit angegeben werden, weil das Konfidenzintervall von 1,6 bis 2,4 (Haus A) enger ist als das Konfidenzintervall von 0,0 bis 1,4 (Haus B).
Plus, Minus oder Kreis
Im AOK-Gesundheitsnavigator bekommen deshalb die 20 Prozent der Krankenhäuser mit den niedrigsten Obergrenzen des Vertrauensbereichs bei der Bewertung des jeweiligen Indikators ein Plussymbol. Dies sind die Krankenhäuser mit der geringsten Wahrscheinlichkeit für Komplikationen bzw. unerwünschte Ereignisse bei der Behandlung eines bestimmten Krankheitsbildes. Umgekehrt sind die 20 Prozent mit den höchsten Untergrenzen des Vertrauensbereichs die Kliniken mit den wahrscheinlich höchsten Komplikationsraten. Sie bekommen ein Minussymbol. Alle übrigen, durchschnittlichen Kliniken erhalten ein Kreissymbol. Sie gehören zu den 60 Prozent der Kliniken, die eine mittlere Wahrscheinlichkeit für unerwünschte Ereignisse aufweisen.
Je mehr Lebensbäume, desto besser die Qualität
Um die Ergebnisse einer Klinik bei einer bestimmten Behandlung beurteilen zu können, reicht es nicht, sich auf einen Indikator zu stützen. Dafür treten Komplikationen wie beispielsweise Sterblichkeit nach einem Eingriff glücklicherweise zu selten auf. Darum fasst das QSR-Verfahren mehrere Qualitätsindikatoren zu einer aussagekräftigen Gesamtbewertung zusammen. Entscheidend für die Berechnung der Gesamtbewertung sind die Anzahl der Komplikationsfälle und deren Anteil an allen behandelten Patientinnen und Patienten.
Je nach der ermittelten Gesamtqualität kann ein Krankenhaus für eine bestimmte Behandlung einen, zwei oder drei Lebensbäume bekommen. Dabei werden die Lebensbäume nach dem gleichen Prinzip vergeben wie die Symbole bei der Bewertung der einzelnen Indikatoren. Die bundesweit 20 Prozent der Krankenhäuser mit überdurchschnittlichen Ergebnissen bekommen drei Lebensbäume. Dies sind die Krankenhäuser mit einer geringen Wahrscheinlichkeit für unerwünschte Ereignisse. Die 20 Prozent der verglichenen Häuser mit unterdurchschnittlichen Ergebnissen werden mit einem Lebensbaum bewertet. Dies sind die Krankenhäuser mit einer höheren Wahrscheinlichkeit für unerwünschte Ereignisse. Die dazwischen liegenden 60 Prozent der Krankenhäuser erhalten zwei Lebensbäume. Diese Häuser weisen eine mittlere Wahrscheinlichkeit für unerwünschte Ereignisse auf.
Auf die Zahl der Komplikationen kommt es an
Dabei ergibt sich die Gesamtbewertung nicht aus dem einfachen Durchschnittswert der Einzelbewertungen. Es kann vorkommen, dass zwei Krankenhäuser zwar die gleichen Symbole bei den Einzelindikatoren aufweisen, die Gesamtbewertung aber unterschiedlich ausfällt. Dies deutet nicht auf einen Rechenfehler hin, sondern ergibt sich aus den methodischen Festlegungen für die Berechnungen, zu denen auch eine Risikoadjustierung gehört. Die Ergebnisse der Gesamtbewertung werden genauso wie die Ergebnisse einzelner Indikatoren anhand von SMR-Werten und den dazugehörigen Vertrauensbereichen bewertet.
Ein Beispiel: Krankenhaus A hat beim Einsetzen künstlicher Hüften für alle Einzelindikatoren und auch für die Gesamtqualität eine durchschnittliche Bewertung bekommen. Das Krankenhaus B erhielt ebenfalls bei allen Indikatoren eine durchschnittliche Bewertung. Die Gesamtqualität ist aber als unterdurchschnittlich bewertet worden. Der SMR-Wert, also das Verhältnis zwischen tatsächlich beobachteten und erwarteten Ereignissen im Krankenhaus A liegt bei 1,4. Der dazugehörige Vertrauensbereich reicht von 0,7 bis 2,1. Bei Krankenhaus B beträgt der SMR-Wert 1,6, der Vertrauensbereich liegt zwischen 1,0 und 2,2. Der größere SMR-Wert (1,6 größer als 1,4) und der höhere untere Grenzwert des Vertrauensbereichs (1,0 größer als 0,7) lassen darauf schließen, dass im Krankenhaus B mehr Komplikationen bzw. unerwünschte Folgeereignisse aufgetreten sind als im Krankenhaus A. Deshalb erhält das Krankenhaus B eine unterdurchschnittliche Bewertung bei der Gesamtqualität.
Die Ergebnisse einzelner Indikatoren, aber auch die Gesamtqualität bei einer bestimmten Behandlung bewerten die QSR-Fachleute anhand der so genannten SMR-Werte und der dazugehörigen Vertrauensbereiche. Das Kürzel SMR steht für Standardisierte Mortalitäts-Ratio beziehungsweise Standardisierte Morbiditäts-Ratio.
Der SMR-Wert beschreibt das Verhältnis zwischen den Komplikationen bzw. unerwünschten Folgeereignissen in einem Krankenhaus, die nach einem bestimmten Eingriff tatsächlich beobachtet werden, mit den statistisch zu erwartenden Ereignissen. Dabei bedeutet ein Wert von 1 eine durchschnittliche Anzahl von Ereignissen. Ein Wert von 2 bedeutet, dass in einem Krankenhaus doppelt so viele Ereignisse aufgetreten sind, wie statistisch zu erwarten waren. Dagegen bedeutet ein SMR-Wert von 0,5, dass in einem Krankenhaus nur die Hälfte der erwarteten Ereignisse auftrat.
In der Statistik kann man allerdings nicht mit absoluter Sicherheit sagen, dass der errechnete SMR-Wert mit der Realität übereinstimmt. So kann eine sehr hohe oder sehr geringe Anzahl an Komplikationen bzw. unerwünschten Folgeereignissen theoretisch durch Zufall bedingt sein. Um sich aber gegen solche Zufälle so gut wie möglich abzusichern, berechnet man zu jedem SMR-Wert den sogenannten Vertrauensbereich, in dem der wahre, aber unbekannte Wert mit einer Sicherheit von 95 Prozent liegt.
Der Vertrauensbereich (Konfidenzintervall) zeigt an, wie genau der berechnete SMR-Wert mit dem unbekannten wahren Wert übereinstimmt. Er ist somit ein Maß für die Zuverlässigkeit der statistischen Aussage. Dabei ist zu erwarten, dass der wahre SMR-Wert einer Klinik in 95 Prozent aller Fälle in dem dazugehörigen Vertrauensbereich liegt. Jeder Vertrauensbereich hat eine Ober- und eine Untergrenze. Sie geben jeweils an, zwischen welchen Werten der wahre SMR-Wert mit 95%iger Wahrscheinlichkeit liegt. Generell gilt: je größer der Vertrauensbereich, desto weniger zuverlässig ist die statistische Aussage, d. h. in diesem Fall der SMR-Wert.
Ein Beispiel: Zwei Krankenhäuser setzen künstliche Hüften ein. Beide Häuser weisen eine unterdurchschnittlich geringe Anzahl an Komplikationen auf. Allerdings hat das Krankenhaus A doppelt so viele Fälle operiert wie Krankenhaus B. Eine geringe Komplikationsrate könnte rein theoretisch auch durch Zufall bedingt sein, vor allem bei niedrigen Fallzahlen. Das Ergebnis von Krankenhaus A, in dem mehr Personen eine künstliche Hüfte erhielten, erscheint deswegen zuverlässiger als das Ergebnis von Krankenhaus B mit der geringeren Anzahl an operierten Fällen. Und genau dies findet seinen Ausdruck im Vertrauensbereich von Krankenhaus A, der kleiner gefasst ist als bei Krankenhaus B. Für das Krankenhaus A mit dem SMR-Wert 0,7 könnte der Vertrauensbereich beispielsweise zwischen 0,6 und 0,9 liegen. Dagegen würde der Vertrauensbereich für das Krankenhaus B mit demselben SMR-Wert von 0,5 bis 1,2 reichen. Dass der Vertrauensbereich beim Haus B breiter ausfällt und der obere Grenzwert die 1 überschreitet, zeigt an, dass der wahre SMR-Wert für dieses Haus in einem größeren Bereich liegt als bei Haus A und sogar über dem Durchschnitt von 1,0 liegen könnte. Bei der Gesamtbewertung würde dieses Krankenhaus zwei, Haus A dagegen drei Lebensbäume erhalten.
Wer Krankenhäuser miteinander vergleichen möchte, muss sicherstellen, dass nur gleichartige Behandlungsfälle miteinander verglichen werden. Würde beispielsweise das Alter der behandelten Patienten und Patientinnen nicht berücksichtigt, könnte das zu fehlerhaften Schlüssen führen. Ein Beispiel: Das Versterben eines Patienten bei einer längerfristig geplanten Entfernung der Gallenblase ist höchst selten. Dennoch kann es vorkommen, dass in einem Krankenhaus die Sterblichkeit nach einem Eingriff höher ist als in einem anderen Krankenhaus. Diese höhere Sterblichkeitsrate ist aber nicht notwendigerweise auf eine schlechtere Behandlungsqualität zurückzuführen, sondern auf die unterschiedlichen Risiken der behandelten Patientinnen und Patienten. Um dieser Tatsache Rechnung zu tragen, wird im QSR-Verfahren bei der Beurteilung der Behandlungsqualität ein Verfahren namens Risikoadjustierung eingesetzt. So werden bei der Berechnung des SMR-Werts u. a. das Alter, das Geschlecht und bestimmte Begleiterkrankungen der behandelten Patientinnen und Patienten berücksichtigt. Die WIdO-Fachleute haben diese Faktoren ausgewählt, weil sie sich auf den Behandlungserfolg auswirken können.