Hier ist, was niemand zugeben möchte: Das Peer-Review-System war bereits kaputt, bevor AI damit in Berührung kam.
Eine große AI-Konferenz hat gerade 494 Arbeiten abgelehnt, nachdem sie herausgefunden haben, dass deren Autoren AI verwendet haben, um Peer-Reviews zu schreiben. Die akademische Welt clutchiert ihre Perlen. Fachzeitschriften bemühen sich um die Implementierung von Erkennungstools. Forscher nennen es eine Integritätskrise.
Sie verpassen den Punkt völlig.
Das Peer-Review-Theater
Lassen Sie uns darüber sprechen, wie das Peer-Review im Jahr 2024 tatsächlich aussieht. Überlastete Forscher verbringen vielleicht zwei Stunden damit, ein Papier zu überfliegen, das sie vor sechs Monaten zur Begutachtung angenommen haben, in der Nacht vor der Frist. Sie schreiben vage Kommentare wie „braucht mehr Striktheit“ oder „unzureichende Literaturübersicht.“ Der Prozess dauert 8-12 Monate. Autoren nehmen oberflächliche Änderungen vor. Das Papier wird veröffentlicht. Niemand liest es.
Das ist das heilige System, das wir verteidigen?
Die betreffende Konferenz – wahrscheinlich NeurIPS oder ICML, basierend auf dem Umfang – entdeckte die AI-generierten Reviews durch linguistische Analysen. Fair enough. Regeln sind Regeln. Aber die Reaktion offenbart etwas Tieferes über die Beziehung der Akademie zu ihrer eigenen Dysfunktion.
Was die Zahlen uns tatsächlich sagen
Betrachten Sie dies: Der durchschnittliche Peer-Reviewer verbringt 5 Stunden pro Review. Top-Konferenzen erhalten über 10.000 Einsendungen. Das sind über 50.000 Stunden unbezahlte Arbeit von Forschern, die tatsächliche Forschung betreiben könnten. Und für was? Ein System, in dem die Akzeptanzraten bei etwa 20-25% liegen, oft basierend auf der Reviewer-Lotterie statt auf Verdienst.
Die 494 abgelehnten Papiere repräsentieren Autoren, die sich dieses kaputte System angeschaut haben und dachten: Warum nicht die Routinearbeit automatisieren?
Hatten sie Unrecht? Technisch gesehen, ja. Ethisch? Das ist komplizierter, als es irgendjemand anerkennen möchte.
Der wahre Skandal
Hier ist, was uns empören sollte: Peer Review ist zu einem Zertifizierungsritual geworden und nicht zu einem Qualitätsfilter. Forscher manipulieren das System, indem sie die Arbeiten der Reviewer zitieren. Reviewer lehnen Papiere von konkurrierenden Laboren ab. Das gesamte Gerüst existiert hauptsächlich, um die akademische Hierarchie aufrechtzuerhalten.
AI hat dieses System nicht korrupt gemacht. Sie hat es offengelegt.
Wenn eine AI eine Review generieren kann, die von der eines menschlichen Experten nicht zu unterscheiden ist, was sagt das über die Expertise aus, die angewendet wird? Wenn 500 Personen unabhängig entscheiden, dass AI-Reviews „gut genug“ sind, was offenbart das über den Wert, den wir tatsächlich auf menschliches Urteilsvermögen in diesem Kontext legen?
Die unbequeme Wahrheit: Die meisten Peer-Reviews erfordern keine tiefgehende Expertise. Sie erfordern Vertrautheit mit Konventionen, die Fähigkeit, offensichtliche Fehler zu erkennen, und die Bereitschaft, 500 Wörter konstruktive Kritik zu schreiben. AI kann all dies.
Was kommt als Nächstes
Die akademische Establishment wird vorhersehbar reagieren. Mehr Erkennungstools. Strengere Richtlinien. Strenge Leitartikel zur Integrität. Sie werden dies als ein Betrugsproblem und nicht als ein Problem des Systemdesigns behandeln.
Aber man kann diesen Geist nicht wieder in die Flasche stecken. AI wird besser darin, menschliche Reviews nachzuahmen. Die Erkennung wird schwieriger werden. Das Wettrüsten wird weitergehen, bis jeder zugibt, was wir bereits wissen: Der Kaiser hat keine Kleider an.
Schlaue Konferenzen experimentieren bereits mit Alternativen. Offene Review-Systeme, bei denen alles öffentlich ist. Post-Publikations-Reviews, bei denen Papiere nach der Veröffentlichung evaluiert werden. Strukturierte Bewertungsformulare, die spezifisches, umsetzbares Feedback statt vager Kritik erzwingen.
Einige erkunden sogar AI-gestützte Reviews – nicht um Menschen zu ersetzen, sondern ihnen zu helfen, sich auf das zu konzentrieren, was tatsächlich wichtig ist. Lassen Sie AI die Formatierung überprüfen, Zitationen verifizieren und statistische Fehler markieren. Lassen Sie Menschen Neuheit, Bedeutung und Erkenntnis bewerten.
Der Weg nach vorne
Die 494 abgelehnten Papiere sind ein Symptom, nicht die Krankheit. Sie sagen uns, dass Forscher so verzweifelt versuchen, dem Peer-Review-Stress zu entkommen, dass sie bereit sind, ihre Reputation auf AI-generierte Texte zu riskieren.
Vielleicht sollten wir zuhören.
Anstatt ein System zu verteidigen, das Tausende von Stunden mit performativem Gatekeeping verschwendet, könnten wir etwas Besseres aufbauen. Etwas, das die Forschungsqualität tatsächlich verbessert, anstatt Papiere nur in willkürliche Kategorien zu sortieren. Etwas, das die Zeit der Forscher respektiert und gleichzeitig Standards aufrechterhält.
Die AI-Konferenz, die diese Papiere abgelehnt hat, handelte korrekt gemäß den aktuellen Regeln. Aber diese Regeln schützen ein System, das seit Jahrzehnten nicht mehr der Wissenschaft dient. Die eigentliche Frage ist nicht, ob AI Peer-Reviews schreiben sollte – sondern ob Peer Review, wie es derzeit praktiziert wird, überhaupt überleben sollte.
🕒 Published: