Wer denkt, wenn die Maschine denkt?

Ein Küchentisch am Sonntagabend, ausgedacht, aber nicht unwahrscheinlich. Eine Fünfzehnjährige hat zwölf Algebra-Aufgaben für Montag auf und im Nachbartab einen Chatbot geöffnet. Zwanzig Minuten später ist alles gelöst, jeder Rechenschritt notiert. Die Sorge kommt drei Wochen später, im Klassenzimmer, die Laptops zugeklappt, als dieselbe Art Aufgabe auf dem Klausurbogen steht und die Rechenschritte nirgends zu finden sind. Zwischen beiden Szenen liegt, im Kleinen, die Frage, ob KI kritisches Denken stützt oder still ersetzt.

Die These dieses Essays passt in einen Satz: Wer sein Denken an die Maschine abgibt, verliert genau die Fähigkeit, die er braucht, um sie zu prüfen. Die Maschine ist ein guter Trainer und ein schlechter Spieler.

Der Muskel, der erschlafft

Forschende von Microsoft und der Carnegie Mellon University haben 319 Wissensarbeiterinnen und Wissensarbeiter nach 936 Situationen aus ihrem Berufsalltag befragt, in denen sie generative KI einsetzten. Das Muster war eindeutig: Je mehr die Befragten dem Werkzeug vertrauten, desto weniger kritisches Denken gaben sie an. Je mehr sie sich selbst zutrauten, desto mehr¹. Das sind Selbstauskünfte, keine Messungen, aber im Büro erkennt man sie wieder.

Am MIT Media Lab legte man Elektroden an. Über vier Monate schrieben 54 Teilnehmende Aufsätze, manche mit einem Sprachmodell, manche ohne. Wer das Modell nutzte, zeigte die schwächste Vernetzung im Gehirn, empfand am wenigsten Urheberschaft am eigenen Text und konnte kaum korrekt zitieren, was er gerade geschrieben hatte². Ein kleiner Preprint, er beweist nichts. Aber er zeigt in eine unbequeme Richtung.

Härter sind die Befunde aus der Medizin. An vier Endoskopiezentren in Polen hatten sich Ärztinnen und Ärzte an KI-Unterstützung bei der Darmspiegelung gewöhnt. Als sie wieder ohne sie arbeiteten, sank ihre Adenom-Detektionsrate von 28,4 % auf 22,4 %; die Studie umfasst 1.443 Patientinnen und Patienten³. Die Maschine hatte geholfen. Als sie den Raum verließ, zeigte sich, dass sie ein wenig zu gut geholfen hatte.

Vertrauen ohne zweiten Blick

Das zweite Risiko ist leiser: nicht mehr hinzusehen. In einer Studie unter Leitung der Uniklinik Köln, erschienen in der Fachzeitschrift Radiology, befundeten 27 Radiologinnen und Radiologen aus Deutschland und den Niederlanden Mammografien mit Hilfe eines angeblichen KI-Systems. Schlug es die falsche BI-RADS-Kategorie vor, fiel die Trefferquote der Unerfahrenen von rund 80 % auf unter 20 %. Selbst die sehr Erfahrenen rutschten von 82 % auf 45,5 %⁴. Erfahrung schützt vor vielem. Vor einem selbstbewussten Kollegen, der zufällig aus Software besteht, schützt sie nicht.

In einer Studie der University of Melbourne und von KPMG mit mehr als 48.000 Menschen in 47 Ländern gaben 66 % der Beschäftigten an, sich auf KI-Ergebnisse zu verlassen, ohne deren Richtigkeit zu prüfen, und 56 % sagten, ihnen seien wegen KI Fehler bei der Arbeit unterlaufen⁵. Eine Metaanalyse von 106 Experimenten, im Oktober 2024 in Nature Human Behaviour erschienen, kam zu dem Ergebnis, dass Mensch und Maschine gemeinsam zwar besser abschneiden als der Mensch allein, im Schnitt aber schlechter als der jeweils Stärkere von beiden für sich⁶. Wer je in einem Ausschuss gesessen hat, braucht dafür keine Metaanalyse.

Die Maschine ist ein guter Trainer und ein schlechter Spieler.

Trainer, nicht Spieler

Das lehrreichste Experiment stammt aus der Türkei. Forschende der Wharton School gaben knapp 1.000 Schülerinnen und Schülern der Oberstufe Zugang zu GPT-4, um Mathematik zu üben. Eine Gruppe bekam eine offene Version, eine andere eine Tutor-Version, die Hinweise gab und Lösungen zurückhielt. Beim Üben stiegen die Ergebnisse um 48 % mit der offenen Version und um 127 % mit dem Tutor. Dann kam die Prüfung ohne KI. Wer mit der offenen Version geübt hatte, schnitt um 17 % schlechter ab als eine Kontrollgruppe, die nie Zugang hatte. Die Tutor-Version vermied diesen Schaden weitgehend⁷.

Dasselbe Modell schwächte die Jugendlichen, solange es selbst auf dem Platz stand. Am Spielfeldrand, mit Hinweisen statt eigener Tore, ließ es ihr Können unangetastet.

Japan hat diesen Gedanken in Amtssprache gefasst. Die Leitlinie des Bildungsministeriums zu generativer KI an Schulen, als Version 2.0 am 26. Dezember 2024 veröffentlicht, stellt den „menschenzentrierten“ Einsatz an den Anfang. Den aktiven Gebrauch durch Lehrkräfte hält sie für nützlich, unter einer Bedingung: dass sie die Werkzeuge nur in dem Rahmen nutzen, in dem sie die Angemessenheit der Ergebnisse selbst beurteilen können⁸. Kurz gesagt: Die Erlaubnis, die Maschine zu nutzen, hängt an der Fähigkeit, sie zu prüfen.

Deutschland ist von dieser Bedingung noch ein Stück entfernt. Nach einer KPMG-Umfrage von 2025 hatten erst 20 % der Deutschen überhaupt eine KI-Schulung absolviert, weltweit waren es 39 %; und 43 % nutzen KI-Werkzeuge, ohne die Ergebnisse zu hinterfragen⁹. Wer vor dem Abitur ein eigenes Stadtmagazin herausgebracht hat, wie der Autor, weiß: Das Auge für eine falsche Zahl schult man, indem man Zahlen prüft, nicht, indem man sie prüfen lässt.

Ein wenig Zukunft

Man denke sich denselben Küchentisch im Jahr 2030. Der Chatbot, dann erheblich klüger, ist so gebaut, dass er erst eine Gegenfrage stellt, bevor er antwortet. Ob sich diese Version durchsetzt, entscheiden weniger Ingenieure als Schulen, Arbeitgeber und wir alle, mit der Frage, was wir weiterhin selbst können wollen. Die Maschine darf am Spielfeldrand stehen, mit Klemmbrett, sie darf Muster sehen, die uns entgehen, und den nächsten Spielzug hereinrufen. Auf den Platz gehört sie nicht. Das Spiel und die Fähigkeit, es zu spielen, gehören dem, der noch denkt, wenn die Maschine fertig ist.

Quellen

1. Microsoft Research and Carnegie Mellon University (Lee, Sarkar, Tankelevitch, Drosos, Rintel, Banks, Wilson): The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers (CHI 2025), April 2025
2. MIT Media Lab (Kosmyna et al.): Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task (preprint), 2025-06-10
3. The Lancet Gastroenterology & Hepatology (record via University of Warwick repository): Endoscopist deskilling after exposure to artificial intelligence in colonoscopy: a multicenter observational study (vol. 10, issue 10, pp. 896 to 903), October 2025
4. Radiological Society of North America (study by Dratsch et al., Radiology): AI Bias May Impair Radiologist Accuracy on Mammogram, 2023-05-02
5. University of Melbourne and KPMG: Trust, attitudes and use of Artificial Intelligence: A global study 2025 (media release), 2025-05-23
6. Nature Human Behaviour (Vaccaro, Almaatouq, Malone, MIT Center for Collective Intelligence): When combinations of humans and AI are useful: A systematic review and meta-analysis (vol. 8, pp. 2293 to 2303), 2024-10-28
7. Proceedings of the National Academy of Sciences (Bastani, Bastani, Sungu, Ge, Kabakcı, Mariman): Generative AI without guardrails can harm learning: Evidence from high school mathematics (vol. 122, issue 26), July 2025
8. Ministry of Education, Culture, Sports, Science and Technology (MEXT), Japan: 生成AIの利用にあたって: 初等中等教育段階における生成AIの利活用に関するガイドライン Ver.2.0 (Guideline on the use of generative AI in primary and secondary education, Version 2.0), 2024-12-26
9. KPMG Deutschland and University of Melbourne: Zwischen Alltag und Sorge: Zwei Drittel der Deutschen nutzen KI, doch nur wenige vertrauen der Technologie, 2025-05-12