Jede wissenschaftliche Veröffentlichung geht durch eine kritische Begutachtung. Die Gutachterinnen und Gutachter – meist drei – sind vom Fach, also ebenfalls Forscherinnen und Forscher. Ein solches Peer Review soll Fehler in Fachartikeln vor deren Veröffentlichung aufdecken. Stellt sich ein publiziertes Forschungsergebnis als falsch heraus, so liegt es häufig an der Komplexität der Realität, doch immer wieder einmal versagt auch dieses System der Qualitätssicherung. Innerhalb des Wissenschaftsbetriebs erhalten Forscher Anerkennung zwar, wenn sie herausragende Resultate veröffentlichen, aber bislang nicht, wenn sie „nur“ als Gutachter dazu beigetragen haben, die Qualität der Forschungsarbeit anderer zu gewährleisten, denn die Begutachtung erfolgt „blind“, also anonym. „Manchmal ist dies der nötigen Sorgfalt abträglich“, sagt Lutz Prechelt.

Mithilfe des elektronischen Systems „Review Quality Collector“ können die Gutachter eines Artikels gegenseitig die Qualität ihrer Gutachten in einem Raster von mehreren Kriterien bewerten. Als Ergebnis erhält jeder Gutachter einen jährlichen Auszug über die Zahl und Qualität seiner Gutachten, relativ zu sämtlichen Kollegen bei der gleichen wissenschaftlichen Zeitschrift oder Konferenz. „Damit wird die Leistung einer Wissenschaftlerin oder eines Wissenschaftlers nicht allein in den Veröffentlichungen sichtbar, sondern auch in der bislang verborgenen, aber für das Gelingen von Wissenschaft grundlegenden Tätigkeit als Gutachter“, sagt Lutz Prechelt. „Gutachten können damit als Quelle von Reputation jetzt endlich so stark werden, wie es ihrer Bedeutung entspricht. Sobald ein paar große Universitäten damit beginnen, solche Gutachtenquittungen als Bestandteil der Leistungsbewertung zu verlangen, kann sich ein Trend zur weltweiten Verbreitung des Verfahrens einstellen.“