Ranggruppenverfahren und Fehlerbalkendiagramme

Im Unterschied zu den Fakten sind die Studierendenurteile abhängig von den jeweils antwortenden Studierenden, sie sind einer gewissen Unsicherheit unterworfen. Wie gut sie jeweils dem „wahren“ Urteilswert für einen Fachbereich entsprechen, hängt wesentlich von der Zahl der Antwortenden und der Bandbreite ihrer Bewertungen ab. Wie viel „Vertrauen“ man in ein solches Durchschnittsurteil haben kann, drückt sich statistisch durch ein sogenanntes Vertrauens- oder Konfidenzintervall aus. Diese Konfidenzintervalle lassen sich nutzen, um die Unsicherheit der Urteilswerte in die Ranggruppenberechnung einzubeziehen.

Statt feste Grenzen für die Durchschnittsurteile festzulegen und danach die Spitzen- bzw. Schlussgruppe zu bestimmen, wird zusätzlich die Länge des entsprechenden Konfidenzintervalls mit einbezogen: Um den in dieser Untersuchung erhobenen bundesweiten Mittelwert für das Fach werden zwei zusätzliche Grenzen eingezogen werden. Fachbereiche, deren Konfidenzintervall komplett zwischen diesen beiden Grenzen liegen, werden, sofern sie nicht bereits der Spitzengruppe angehören, der Mittelgruppe zugeordnet. Liegt der Wert außerhalb des Intervalls eines Faches an einer Hochschule, erfolgt eine Einordnung in eine der Extremgruppen (Spitzen- oder Schlussgruppe).

Ist allerdings das Konfidenzintervall so breit, dass es über den Mittelwert und eine dieser Grenzen hinausragt, werden diese Werte nicht in das Ranking einbezogen, weil sie nicht klar einer Gruppe zuordenbar sind. Dies betrifft insbesondere Fachbereiche, bei denen der Rücklauf zwischen 15 und 30 liegt. Die gesamte Vorgehensweise wird hier im Detail erläutert.

Vorteile:

  • Kleine Fachbereiche haben weiterhin die Chance ins Ranking zu kommen.
  • Die Aussagekraft der Gruppenzuordnung ist auch bei kleinen Fallzahlen der Studierendenurteile gesichert, Zweifelsfälle werden beim betreffenden Indikator aus dem Ranking herausgenommen.

Die pdf-Downloads zu den Fächern enthalten jeweils eine Übersicht über die Fallzahlen zur Studierendenbefragung, die Lage und Spreizung der Indikatoren im Fach sowie die zugehörigen Fehlerbalkendiagramme mit eingezeichnetem Mittelwert. Die Fehlerbalkendiagramme können außerdem in einer interaktiven Anwendung betrachtet werden.

Erläuterung zur Ranggruppenzuordnung

Es kann vorkommen, dass Fachbereiche mit gleichen oder ähnlichen Mittelwerten, aber unterschiedlich großen Konfidenzintervallen, wenn sie an der Grenze zwischen einer Extremgruppe und der Mittelgruppe platziert sind, gelegentlich in unterschiedliche Ranggruppen einsortiert werden. Es kann dabei durchaus vorkommen, dass ein Fachbereich mit einem besseren Mittelwert in der Mittelgruppe landet, während derjenige mit dem „schlechteren“ Mittelwert in die Spitzengruppe einsortiert wird.

Eine solche, von einer rein mittelwertorientierten Rangordnung abweichende Gruppierung ist ungewohnt, aber keineswegs unplausibel: Die Orientierung an den Konfidenzintervallen drückt inhaltlich die Berücksichtigung der Homogenität der Beurteilungen, technisch hingegen die größere Schlusssicherheit auf den im statistischen Sinne „wahren“ Mittelwert der Grundgesamtheit aus.

Im Unterschied zu den über Quartile ermittelten Gruppen (die immer einen bestimmten Prozentsatz der Hochschulen enthalten) oder „Top-10-Listen“ ist bei diesem Verfahren die Größe der (Spitzen-) Gruppe nicht festgelegt, sie ergibt sich vielmehr aus dem Ausmaß von Binnenvarianz in den einzelnen Fachbereichen und der Varianz zwischen den untersuchten Fachbereichen. Wenn in einem Fach die Unterschiede zwischen einzelnen Hochschulen gering und die Antworten in den Studienbereichen sehr heterogen ausfallen, sind nur wenige Hochschulen in der Schluss- oder Spitzengruppe anzutreffen.

Die hier gewählte Ranggruppenzuordnung erlaubt zuverlässig die Identifikation von „gut“ und „schlecht“ bewertet, wenn man das Durchschnittsurteil im Fach zum Maßstab nimmt. Dass bei sehr geringen Mittelwertunterschieden dann auch kleine Differenzen über die Zugehörigkeit zur Mitte oder zur Extremgruppe entscheiden, liegt in der Natur von Gruppenbildungen.

In den Fächern Chemie sowie der Fächergruppe "Angewandte Naturwissenschaften" werden abweichend von dem oben beschriebenen Verfahren statt des Mittelwertes feste Grenzen zur Einordnung in Ranggruppen genutzt. Liegt ein Fachbereich mit seinem Konfidenzintervall komplett links des kleineren festgelegten Wertes (Chemie 2,5; Angewandte Naturwissenschaften 2) wird er der Spitzengruppe zugeordnet, liegt das Konfidenzintervall komplett rechts des größeren Wertes (Chemie 3; Angewandte Naturwissenschaften 2,5) der Schlussgruppe. Ist das Konfidenzintervall so breit, dass es beide festgelegten Werte überlappt, wird die entsprechende Bewertung keiner Ranggruppe zugordnet und der zugehörige Wert nicht veröffentlicht.

Überprüfte Kriterien bei der Ranggruppenzuordnung

Im Rahmen des Auswertungsverfahrens werden zudem verschiedene Kriterien überprüft, damit nur belastbare und aussagekräftige Ergebnisse veröffentlicht werden:

  1. Für jeden Fachbereich wird für jeden Indikator separat der Rücklauf bei der Studierendenbefragung überprüft. Fachbereiche mit einem zu geringen Rücklauf (weniger als 15 Teilnehmer) werden für den jeweiligen Indikator nicht in die Ranggruppenbildung miteinbezogen. Bei Fachbereichen mit einem Rücklauf von unter 50 wird zudem überprüft, ob mindestens 10% der angeschriebenen Studierenden des Fachbereichs an der Befragung teilgenommen haben. Andernfalls wird der Fachbereich ebenfalls keiner Ranggruppe zugeordnet.
  2. Nach der Ranggruppenzuordnung wird weiterhin noch für jeden Indikator überprüft, ob die Unterschiede zwischen den verschiedenen Fachbereichen auch ausreichend groß für eine Einteilung in verschiedene Ranggruppen sind:
    1. Falls die Differenz zwischen dem besten und dem schlechtesten Mittelwert geringer als 1 ist, werden alle Fachbereiche der Mittelgruppe zugeordnet (zu geringe Streuung zwischen den Fachbereichen).
    2. Falls der Beste der Schlussgruppe bereits einen Mittelwert besser als 2 aufweist, werden alle Fachbereiche der Spitzengruppe zugeordnet (insgesamt zu gute Bewertungen).