Die quantitative Bewertung von Forschungsleistungen über Publikationen, also wissenschaftliche Veröffentlichungen, beruht auf einem grundlegenden Prinzip des wissenschaftlichen Kommunikationssystems: Forschungsergebnisse werden für die wissenschaftliche Fachgemeinschaft erst dann relevant und formal zurechenbar, wenn sie nach außen dokumentiert werden. Erst dann können sie öffentlich diskutiert und überprüft werden. Dabei kommt der Veröffentlichung in international führenden Fachzeitschriften die größte Bedeutung zu. Sammelbände, Monographien oder elektronische Medien spielen abhängig von der Disziplin eine unterschiedliche, aber meist untergeordnete Rolle.
Im Laufe der letzten Jahrzehnte sind große Literaturdatenbanken entstanden, in denen diese wissenschaftlichen Veröffentlichungen gespeichert sind und mit geeigneter Retrieval-Software wieder aufgefunden werden können. Mit Publikationsanalysen, auch bibliometrische Analysen genannt, lassen sich daher aus den Datenbanken Indikatoren für die Sichtbarkeit und den Rezeptionserfolg wissenschaftlicher Forschung gewinnen.
Grundsätzlich handelt es sich bei den ermittelten Indikatoren um Aktivitätsindikatoren, die die Teilnahme an der fachwissenschaftlichen Forschungskommunikation indizieren und – soweit möglich – um Qualitätsindikatoren, die die Resonanz der Publikationen in der Fachöffentlichkeit messen.
Aufgrund von Unterschieden in Publikations- und Zitationsverhalten und z. T. disziplinspezifischen Datenbanken werden für die untersuchten Fächer jeweils unterschiedliche Analysen durchgeführt. Teilweise unterscheiden sich die ausgewiesenen Publikationsindikatoren zwischen den Fächern. Aus diesem Grund ist auch ein fachübergreifender Vergleich der Kennwerte nicht möglich.
Generell wird die Zahl der für einen Fachbereich ermittelten Veröffentlichungen an der im Rahmen der Fachbereichsbefragung erhobenen Gesamtzahl der Wissenschaftler*innen auf Haushaltsstellen im Untersuchungszeitraum relativiert. Ersatzweise werden Personalangaben des Statistischen Bundesamtes (siehe weitere Datenquellen) verwendet. In einigen Fächern, in denen das weitere wissenschaftliche Personal nicht eindeutig ermittelt oder abgegrenzt werden kann (z.B. im Fach Medizin), werden die Publikationen eines Fachbereichs nur an der Zahl der Professor*innen relativiert.
Aus methodischen Überlegungen wird die Publikationsanalyse nur für Fachbereiche an Universitäten und nur für die nachfolgend genannten Fächer durchgeführt:
Im Rahmen der Analyse der Publikationen und Zitationen kommen sehr spezifische Verfahren und Instrumente zur Datenkontrolle zur Anwendung.
Basis für diese bibliometrischen Analysen sind die von den Fachbereichen und Fakultäten gelieferten Listen der Namen der Professor*innen und (promovierten) wissenschaftlichen Mitarbeiter*innen. Diese werden in der Vorerhebung zur Fachbereichsbefragung erfasst, der Fragebogen enthält detaillierte Angaben zur Eingrenzung der zu nennenden Personengruppe. Die Listen werden im CHE geprüft, eventuell werden die Fachbereiche um Ergänzung gebeten.
Die einzubeziehenden Publikationen werden durch Abfragen in den Literaturdatenbanken ermittelt, die auf den Vorschlägen der Fachbeiratsmitglieder basieren. Wichtig ist, für jeden Fachbereich vergleichbare Auszüge des Publikations-Outputs zu erhalten. Dieser Auszug sollte zudem die wesentlichen Publikationstypen des Faches abdecken. Für viele Fächer werden die Datenbanken des Web of Science verwendet, das einen Schwerpunkt auf international sichtbare Publikationen legt. Für Fächer, bei denen die Verwendung dieser Datenbanken unzureichend erscheint, werden zumeist national orientierte Datenbanken herangezogen. Die Abdeckung wird mithilfe der genannten Namen geprüft, die Zusammensetzung der Datenbank mit dem Publikationsverhalten im Fach verglichen. Bei Zweifeln an der Datenqualität sind auch Pilotstudien oder Einzelvergleiche anhand von Publikationslisten durchgeführt worden. Die Eignung der Datenbanken wird in jedem Zyklus neu diskutiert und falls nötig geprüft.
Analysen in den Datenbanken Web of Science oder Scopus werden durch das Forschungszentrum Jülich durchgeführt, welches langjährige Expertise im Umgang mit diesen Datenbanken, speziell im Hinblick auf spezifische Probleme wie Unklarheiten der institutionellen Bezeichnungen oder Namensschreibungen, hat. Seit 2010 werden in Fächern, in denen die Publikationsanalyse auf den Datenbanken Web of Science oder Scopus basiert, institutionelle Abfragen durchgeführt und die Namenslisten nur noch zur Kontrolle der korrekten Zuordnung genutzt. Dies betrifft die Fächer Elektrotechnik und Informationstechnik, Medizin, Zahnmedizin, Geografie, Geowissenschaften und Psychologie.