Bewertung

Um eine verlässliche Aussage darüber zu machen, ob ein Krankenhaus bei einer bestimmten Behandlung eine gute oder schlechte Qualität aufweist, bedarf es eines komplizierten statistischen Verfahrens. Grundlage für diese Berechnung sind im Wesentlichen Daten, die Kliniken an die AOKs liefern, um die Behandlung eines Patienten abzurechnen. Die AOKs leiten die Informationen in anonymisierter Form an das Wissenschaftliche Institut der AOK (WIdO) weiter, das die Daten aufbereitet, bewertet und zu einem Gesamtergebnis zusammenfasst.

Das QSR-Verfahren beurteilt die Qualität einer Behandlung anhand von möglichen Komplikationen bzw. unerwünschten Folgeereignissen (Indikatoren), die sowohl während des Krankenhausaufenthalts als auch bis zu einem Jahr nach dem betrachteten Eingriff auftreten können. Dazu nimmt das WIdO jedes Krankenhaus einzeln unter die Lupe und vergleicht es mit allen anderen Krankenhäusern bundesweit, die das interessierende Krankheitsbild mit einer bestimmten Häufigkeit behandeln. Wenn Komplikationen bzw. unerwünschte Folgeereignisse auftreten, werden sie bei der Berechnung der Ergebnisse berücksichtigt.

Zuverlässige Zahlen zum Ziel

Zunächst zählen die WIdO-Experten die interessierenden und tatsächlich aufgetretenen Ereignisse in einem Krankenhaus. In einem zweiten Schritt bestimmen sie pro Krankenhaus für jeden Indikator die Anzahl der statistisch zu erwartenden Ereignisse. Dies erfolgt mithilfe eines statistischen Verfahrens, das logistische Regression heißt. Anschließend vergleichen sie für einen Indikator die beobachteten mit den erwarteten Ereignissen. Das Ergebnis dieser Berechnung, also das Verhältnis zwischen tatsächlich beobachteten und erwarteten Ereignissen in einem Krankenhaus wird als Standardisierte Mortalitäts-Ratio beziehungsweise Standardisierte Morbiditäts-Ratio, kurz SMR, bezeichnet.

Allerdings kann sich dieser Wert auch durch zufällige Ereignisse verändern. Komplikationen bzw. Folgeereignisse können sich in einem Jahr häufen, im nächsten aber selten sein. Das bedeutet, dass der errechnete SMR-Wert nicht mit absoluter Sicherheit zutreffend ist. Um eine möglichst genaue Aussage zu treffen, bestimmen die Statistiker deshalb zu jedem errechneten SMR-Wert einen Bereich, in dem der wahre, aber unbekannte Wert mit hoher Sicherheit liegt. Üblicherweise wird eine Wahrscheinlichkeit von 95 Prozent gefordert. Diesen Bereich nennen sie Vertrauensbereich (Konfidenzintervall). Der Vertrauensbereich gibt jeweils einen Hinweis darauf, wie groß die zufällige Schwankung des SMR-Werts ist.

Um Krankenhäuser mit ihren unterschiedlichen Patienten vergleichen zu können, lassen die Wissenschaftler außerdem u. a. das Alter, das Geschlecht und bestimmte Begleiterkrankungen der behandelten Patienten in ihre Berechnungen einfließen, da sich diese Faktoren auf den Behandlungserfolg auswirken können. Die Statistiker sprechen bei diesem Verfahren von einer Risikoadjustierung.

Bewertung Hüfte k Bewertung Hüfte g

Schließlich bewerten die Statistiker anhand der SMR-Werte und der dazugehörigen Vertrauensbereiche die Ergebnisse einzelner Indikatoren. Ziel ist es, nicht nur den SMR-Wert, sondern auch die Sicherheit der statistischen Aussage zu berücksichtigen. Dabei gilt zum einen: Je kleiner der obere Grenzwert des Vertrauensbereichs ist, desto besser ist das Ergebnis. Zum anderen gilt: je enger das Konfidenzintervall, desto zuverlässiger ist das Ergebnis. Ein Beispiel: Bei chirurgischen Komplikationen liegt der Vertrauensbereich in Klinik A zwischen 1,6 und 2,4 und in Klinik B zwischen 0,0 und 1,4. Dabei ist 2,4 die obere Grenze des Vertrauensbereichs in Klinik A und 1,4 in Klinik B. Klinik A schneidet hier schlechter ab, weil 2,4 größer als 1,4 ist. Gleichzeitig kann das Ergebnis von Klinik B mit einer größeren Sicherheit angegeben werden, weil das Konfidenzintervall von 1,6 bis 2,4 (Haus A) enger ist als das Konfidenzintervall von 0,0 bis 1,4 (Haus B).

Plus, Minus oder Kreis

Im AOK-Krankenhausnavigator bekommen deshalb die 20 Prozent der Krankenhäuser mit den niedrigsten Obergrenzen des Vertrauensbereichs bei der Bewertung des jeweiligen Indikators ein Plussymbol. Dies sind Krankenhäuser mit den wahrscheinlich besten Ergebnissen bei der Behandlung eines bestimmten Krankheitsbildes. Umgekehrt sind die 20 Prozent mit den höchsten Untergrenzen des Vertrauensbereichs die Kliniken mit den wahrscheinlich schlechtesten Ergebnissen. Sie bekommen ein Minussymbol. Alle übrigen durchschnittlichen Kliniken erhalten ein Kreissymbol, also eine Null.

Je mehr Lebensbäume, desto besser die Qualität

Um die Ergebnisse einer Klinik bei einer bestimmten Behandlung beurteilen zu können, reicht es nicht, sich auf einen Indikator zu stützen. Dafür treten Komplikationen wie beispielsweise Sterblichkeit nach einem Eingriff glücklicherweise zu selten auf. Darum fasst das QSR-Verfahren mehrere Qualitätsindikatoren zu einer aussagekräftigen Gesamtbewertung zusammen. Entscheidend für die Berechnung der Gesamtbewertung sind die Anzahl der Komplikationsfälle und deren Anteil an allen behandelten Patienten.

Je nach der Gesamtqualität kann ein Krankenhaus für eine bestimmte Behandlung ein, zwei oder drei Lebensbaumsymbole bekommen. Dabei werden die Lebensbäume nach dem gleichen Prinzip vergeben wie die Symbole bei der Bewertung der einzelnen Indikatoren. Die bundesweit 20 Prozent der Krankenhäuser mit den besten Ergebnissen bekommen drei Lebensbäume. Dies sind die Krankenhäuser mit einer geringen Wahrscheinlichkeit für unerwünschte Ereignisse. Die 20 Prozent der verglichenen Häuser mit den schlechtesten Ergebnissen werden mit einem Lebensbaum bewertet. Dies sind die Krankenhäuser mit einer hohen Wahrscheinlichkeit für unerwünschte Ereignisse. Die dazwischen liegenden 60% der Krankenhäuser erhalten zwei Lebensbäume. Diese Häuser weisen eine mittlere Wahrscheinlichkeit für unerwünschte Ereignisse auf.

Auf die Zahl der Komplikationen kommt es an

Dabei ergibt sich die Gesamtbewertung nicht aus dem einfachen Durchschnittswert der Einzelbewertungen. Es kann vorkommen, dass zwei Krankenhäuser zwar die gleichen Symbole bei den Einzelindikatoren aufweisen, die Gesamtbewertung aber unterschiedlich ausfällt. Dies deutet nicht auf einen Rechenfehler hin, sondern ergibt sich aus den methodischen Festlegungen für die Berechnungen, um Krankenhäuser möglichst fair miteinander vergleichen zu können. Die Ergebnisse der Gesamtbewertung werden genauso wie die Ergebnisse einzelner Indikatoren anhand von SMR-Werten und den dazugehörigen Vertrauensbereichen bewertet.

Ein Beispiel: Krankenhaus A hat beim Einsetzen künstlicher Hüften für alle Einzelindikatoren und auch für die Gesamtqualität eine durchschnittliche Bewertung bekommen. Das Krankenhaus B erhielt ebenfalls bei allen Indikatoren eine durchschnittliche Bewertung. Die Gesamtqualität ist aber als unterdurchschnittlich bewertet worden. Der SMR-Wert, also das Verhältnis zwischen tatsächlich beobachteten und erwarteten Ereignissen im Krankenhaus A liegt bei 1,4. Der dazugehörige Vertrauensbereich reicht von 0,7 bis 2,1. Bei Krankenhaus B beträgt der SMR-Wert 1,6, der Vertrauensbereich liegt zwischen 1,0 und 2,2. Der größere SMR-Wert (1,6 größer als 1,4) und der höhere untere Grenzwert des Vertrauensbereichs (1,0 größer als 0,7) lassen darauf schließen, dass im Krankenhaus B mehr Komplikationen bzw. unerwünschte Folgeereignisse aufgetreten sind als im Krankenhaus A. Deshalb erhält das Krankenhaus B eine unterdurchschnittliche Bewertung bei der Gesamtqualität.

Die Ergebnisse einzelner Indikatoren, aber auch die Gesamtqualität bei einer bestimmten Behandlung bewerten die Statistiker anhand der so genannten SMR-Werte und der dazugehörigen Vertrauensbereiche. Das Kürzel SMR steht für Standardisierte Mortalitäts-Ratio beziehungsweise Standardisierte Morbiditäts-Ratio.

Der SMR-Wert beschreibt das Verhältnis zwischen den Komplikationen bzw. unerwünschten Folgeereignissen in einem Krankenhaus, die nach einem bestimmten Eingriff tatsächlich beobachtet werden, mit den statistisch zu erwartenden Ereignissen. Dabei bedeutet ein Wert von 1 eine durchschnittliche Anzahl von Ereignissen. Ein Wert von 2 bedeutet, dass in einem Krankenhaus doppelt so viele Ereignisse aufgetreten sind, wie statistisch zu erwarten waren. Dagegen bedeutet ein SMR-Wert von 0,5, dass in einem Krankenhaus nur die Hälfte der erwarteten Ereignisse auftrat.

Die Statistiker können allerdings nicht mit absoluter Sicherheit sagen, dass der errechnete SMR-Wert mit der Realität übereinstimmt. So kann eine sehr hohe oder sehr geringe Anzahl an Komplikationen bzw. unerwünschten Folgeereignissen theoretisch durch Zufall bedingt sein. Um sich aber gegen solche Zufälle so gut wie möglich abzusichern, berechnen die Statistiker zu jedem SMR-Wert den sogenannten Vertrauensbereich, in dem der wahre, aber unbekannte Wert mit einer Sicherheit von 95 Prozent liegt.

Der Vertrauensbereich (Konfidenzintervall) zeigt an, wie genau der berechnete SMR-Wert mit der Realität übereinstimmt. Er ist somit ein Maß für die Zuverlässigkeit der statistischen Aussage. Dabei ist zu erwarten, dass der wahre SMR-Wert einer Klinik in 95 Prozent aller Fälle in dem dazugehörigen Vertrauensbereich liegt. Jeder Vertrauensbereich hat eine Ober- und eine Untergrenze. Sie geben jeweils einen Hinweis darauf, zwischen welchen Werten der wahre SMR-Wert liegen kann. Generell gilt: je größer der Vertrauensbereich, desto weniger zuverlässig ist die statistische Aussage, d. h. in diesem Fall der SMR-Wert.

Ein Beispiel: Zwei Krankenhäuser setzen künstliche Hüften ein. Beide Häuser weisen eine unterdurchschnittlich geringe Anzahl an Komplikationen auf. Allerdings hat das Krankenhaus A doppelt so viele Patienten operiert wie Krankenhaus B. Eine geringe Komplikationsrate könnte rein theoretisch auch durch Zufall bedingt sein, vor allem bei niedrigen Fallzahlen. Das Ergebnis von Krankenhaus A, in dem mehr Patienten eine künstliche Hüfte erhielten, erscheint deswegen zuverlässiger als das Ergebnis von Krankenhaus B mit der geringeren Anzahl an operierten Patienten. Und genau dieses Vertrauen in Krankenhaus A findet seinen Ausdruck im Vertrauensbereich, der kleiner gefasst ist, als bei Krankenhaus B. Für das Krankenhaus A mit dem SMR-Wert 0,7 könnte der Vertrauensbereich beispielsweise zwischen 0,6 und 0,9 liegen. Dagegen würde der Vertrauensbereich für das Krankenhaus B mit demselben SMR-Wert von 0,5 bis 1,2 reichen. Dass der Vertrauensbereich beim Haus B breiter ausfällt und der obere Grenzwert die 1 überschreitet, zeigt an, dass der wahre SMR-Wert für dieses Haus in einem größeren Bereich liegt als bei Haus A und sogar über dem Durchschnitt von 1,0 liegen könnte. Bei der Gesamtbewertung würde dieses Krankenhaus zwei, Haus A dagegen drei Lebensbäume erhalten.

Wer einen fairen Vergleich von Krankenhäusern anstrebt, muss sicherstellen, dass nur gleichartige Behandlungsfälle miteinander verglichen werden. Würde beispielsweise das Alter der behandelten Patienten nicht berücksichtigt, könnte das zu fehlerhaften Schlüssen führen. Ein Beispiel: Das Versterben eines Patienten bei einer längerfristig geplanten Entfernung der Gallenblase ist höchst selten. Dennoch kann es vorkommen, dass in einem Krankenhaus die Sterblichkeit nach einem Eingriff höher ist als in einem anderen Krankenhaus. Diese höhere Sterblichkeitsrate ist aber nicht notwendigerweise auf eine schlechtere Behandlungsqualität zurückzuführen, sondern auf die unterschiedlichen Risiken der behandelten Patienten. Um dieser Tatsache Rechnung zu tragen, setzen Statistiker bei der Beurteilung der Behandlungsqualität ein Verfahren namens Risikoadjustierung ein. So werden bei der Berechnung des SMR-Werts u. a. das Alter, das Geschlecht und bestimmte Begleiterkrankungen der behandelten Patienten berücksichtigt. Die WIdO-Experten haben diese Faktoren ausgewählt, weil sie sich auf den Behandlungserfolg auswirken können.