Wie die KI die Numismatik verändert

Eine Vita, die zu schön ist, um wahr zu sein

… und der Doyen des numismatischen Fachjournalismus, denn Rob Quarterman verkauft erfolgreich mehrere Münzen-Bücher bei Amazon, darunter „The Coins of England for the British Collectors: The Complete Guide to Collecting British Coins“ sowie die „Coin Collecting Bible“. Sein demnächst erscheinendes Buch über das Münzsammeln ist laut Amazon „mehr als ein Handbuch; es ist ein Begleiter, der aus einer lebenslangen Liebe und Hingabe zu diesem Handwerk entstanden ist.“ Sowohl für Anfänger als auch erfahrene Sammler sollen Robs Worte als „Leuchtfeuer, das ihnen den Weg weist“, dienen.

Rob Quarterman als Lichtgestalt des numismatischen Fachjournalismus? Viele Kollegen rieben sich in den vergangenen Wochen und Monaten verwundert die Augen – denn diesen Namen hatten sie noch nie gehört. Bei den jährlichen Preisverleihungen der US-amerikanischen Fachjournalisten-Vereinigung „Numismatic Literary Guild“ ward Rob Quarterman nie gesehen, in den einschlägigen Diskussionsgruppen wie der „Numismatic Bibliomania Society“ fiel er nicht auf und bei seinem Schaffensdrang hatte der Super-Schreiber offenbar auch vergessen, ein Impressum oder Kontaktdaten in seinen Büchern zu hinterlassen. Vertreten lässt sich Quarterman in Sozialen Netzwerken von einem „kleinen und aufstrebenden Verlag“, der bislang neben den zwei Münzenbüchern noch einen Ratgeber für das amerikanische „HESI A2“-Pflegeexamen vertreibt. Offenbar sind Quarterman und sein Verlag so beschäftigt, dass sie auf eine Presseanfrage der „MünzenWoche“ nicht reagiert hatten.

Auf der Suche nach Rob Quarterman gibt es jedoch eine andere Spur – und diese lässt sich mit Online-Plattformen aufspüren, die Texte auf ihre KI-Wahrscheinlichkeit überprüfen. Oder mit anderen Worten: Sie untersuchen, ob Satzbau, Wortwahl und Fakten typisch für eine künstliche Intelligenz und untypisch für einen Menschen sind. Und egal, welchen KI-Detektor man befragt, „quillbot.com“ oder „smodin.io“ und „scribbr.de“ sind sich einig: Die Amazon-Vita von Rob Quarterman sowie zufällig ausgewählte Stichproben aus seinen Büchern weisen eine KI-Wahrscheinlichkeit von 100 Prozent auf.

Übernimmt ChatGPT die Arbeit von MünzenWoche, Whitman und Co.?

Ob Rob Quarterman eine Erfindung von ChatGPT oder lediglich ein schüchterner Schreiberling ist, lässt sich nicht mit letzter Gewissheit sagen. Doch die numismatische Fachliteratur von Quarterman und anderen Autor*innen, die in der Branche gänzlich unbekannt sind und mit knalligen Buchtiteln für Aufmerksamkeit bei Amazon sorgen, wirft die Frage auf: Haben journalistische Angebote wie die MünzenWoche oder traditionsreiche Fachverlage wie Whitman in den USA ausgedient? Und kann ChatGPT ein Spezialthema wie die Numismatik angemessen bearbeiten?

Wir haben die künstliche Intelligenz auf Herz und Nieren getestet und entführen Sie im folgenden Text in die aufregende und bisweilen absurde Welt von ChatGPT:

ChatGPT halluziniert – und erfindet Münzen, die es gar nicht gibt

Ein bekanntes KI-Phänomen kommt besonders häufig bei Texten mit numismatischem Bezug zum Tragen: Die so genannte „Halluzination“. Dabei produziert ChatGPT Antworten oder Informationen, die zwar überzeugend und korrekt erscheinen mögen, aber falsch oder erfunden sind. Denn wenn die KI keine Daten zur Beantwortung einer Frage hat, erzeugt sie auf Basis von Mustern und Wahrscheinlichkeiten vorliegenden Daten trotzdem einen Text – oder mit anderen Worten: Die KI orientiert sich daran, wie eine korrekte Antwort aussehen und klingen könnte.

Besonders deutlich wird dieses Problem beispielsweise anhand des folgenden Prompts:

„Die Bundesrepublik-Deutschland hat seit 2004 zahlreiche 2-Euro-Gedenkmünzen ausgegeben. Neben 2-Euro-Gedenkmünzen zu den deutschen Bundesländern gab es weitere 2-Euro-Gedenkmünzen aus Deutschland, hauptsächlich zu Ereignissen und Persönlichkeiten aus der deutschen Geschichte. Liste alle Themen der 2-Euro-Gedenkmünzen aus Deutschland seit 2004 bis einschließlich 2024 auf, die nicht zu einer Bundesländer-Serie gehören.“

Als Antwort gibt ChatGPT eine „Liste der 2-Euro-Gedenkmünzen aus Deutschland“ aus, „die von 2004 bis 2024 ausgegeben wurden und nicht zur Bundesländer-Serie gehören“. Klingt, als hätte die KI den Arbeitsauftrag verstanden – und das Ergebnis kann sich auf den ersten Blick sehen lassen:

• 2006: Fußball-Weltmeisterschaft 2006 in Deutschland (falsch, im Jahr 2006 hat Deutschland lediglich eine 2-Euro-Gedenkmünze ausgegeben, nämlich zum Auftakt der ersten Bundesländer-Serie)
• 2007: 50. Jahrestag der Unterzeichnung der Römischen Verträge (korrekt, 1. Gemeinschaftsausgabe)
• 2008: 60. Jahrestag der Allgemeinen Erklärung der Menschenrechte (falsch, insgesamt haben im Jahr 2008 vier Euro-Länder dieses Thema gewählt, Deutschland war nicht dabei)
• 2009: 10. Jahrestag der Europäischen Wirtschafts- und Währungsunion (korrekt, 2. Gemeinschaftsausgabe)
• 2011: 10 Jahre Euro-Bargeld (falsch, 2011 gab es keine weitere 2-Euro-Gedenkmünze)
• 2012: 10. Jahrestag der Einführung der Euro-Banknoten und -Münzen (korrekt, 3. Gemeinschaftsausgabe)
• 2013: 50. Jahrestag des Élysée-Vertrags (korrekt)
• 2015: 30. Jahrestag der EU-Flagge (korrekt, 4. Gemeinschaftsausgabe)
• 2015: 25 Jahre Deutsche Einheit (korrekt)
• 2016: 125. Geburtstag von Nelly Sachs (falsch, Nelly Sachs wurde nie auf 2-Euro-Münzen aus Deutschland abgebildet.)
• 2018: 100. Geburtstag von Helmut Schmidt (korrekt)
• 2019: 70 Jahre Grundgesetz (falsch, dieses Ereignis wurde nie auf 2-Euro-Münzen aus Deutschland abgebildet.)
• 2020: 50. Jahrestag des Warschauer Kniefalls (korrekt)
• 2022: 35. Jahrestag des Erasmus-Programms (korrekt, 5. Gemeinschaftsausgabe)
• 2023: 1275. Todestag von Bonifatius (Jahreszahl und Todestag korrekt, aber es ging um Karl den Großen und nicht um Bonifatius)
• 2024: 400. Todestag von Albrecht Dürer (falsch, Albrecht Dürer wurde nie auf 2-Euro-Münzen aus Deutschland abgebildet. 2024 würdigte die Bundesrepublik den 175. Geburtstag der Paulskirchenverfassung)

ChatGPT hat also 16 Münzen aufgelistet, von denen 9 korrekt waren (vor allem die fünf weit verbreiteten Euro-Gemeinschaftsausgaben). 5 Münzen waren frei erfunden, ein Münzthema war „doppelt gemoppelt“ und bei einer Münze hat sich ChatGPT in der betroffenen Person geirrt. Zudem fehlen in der Liste die zwei 2-Euro-Gedenkmünzen aus dem Jahr 2019 zum 70. Jahrestag der Gründung des Bundesrates und zum 30. Jahrestag des Falls der Berliner Mauer.

Das Fazit: Nicht ganz falsch, nicht ganz richtig – und nicht zufriedenstellend, wenn dieses Rechercheergebnis in einen kostenpflichtigen Münzkatalog einfließen würde. Teilweise hat ChatGPT offenbar 2-Euro-Münzen und 20-Euro-Münzen verwechselt, im Fall der Menschenrechte im Jahr 2008 von der Ausgabepolitik anderer Länder auf Deutschland geschlossen und mehrfach ganz simpel geschaut, wie die deutschen Münzthemen klingen – und sich auf dieser Basis selbst überlegt, welche numismatischen Sujets zu Helmut Schmidt oder dem Kniefall von Warschau passen könnten.

Man mag sich gar nicht vorstellen, was in Fachbüchern, Blog-Beiträgen oder Online-Quizzes, die komplett aus der Feder von künstlicher Intelligenz stammen, für Stilblüten zu finden sind. Nur ein Beispiel: Auf die Frage, was denn eine „Lichtenrader Prägung“ sei, antwortet ChatGPT (offenbar in gänzlicher Unkenntnis der gleichnamigen Fehlprägungs-Gattung):

Die „Lichtenrader Prägung“ ist ein Begriff, der im Rahmen der Berliner Geographie verwendet wird und sich auf eine spezielle städtebauliche Struktur in Berlin-Lichtenrade bezieht. Diese Struktur ist charakteristisch für die Stadterweiterung und Stadtentwicklung von Berlin während der späten 19. und frühen 20. Jahrhunderts.

Danach listet ChatGPT penibel die Eigenschaften der „Lichtenrader Prägung“ auf, darunter den „Gartenstadt-Charakter“, die vielen „Ein- und Zweifamilienhäuser“, die „Durchgrünung“ und die „Kleinteilige Parzellierung“. ChatGPT wäre also als Stand-Up-Comedian für die Bühne auf der nächsten World Money Fair durchaus eine Bereicherung, seine Kollegen aus der schreibenden Zunft des numismatischen Fachjournalismus müssen jedoch auf absehbare Zeit nicht fürchten, überflüssig oder gar arbeitslos zu werden.

ChatGPT erfindet das Rad ständig neu – und redet sich um Kopf und Kragen

Noch verrückter wird es übrigens, wenn man den identischen Rechercheauftrag zu einem späteren Zeitpunkt erneut eingibt. Dann sieht die Liste in unserem Beispiel der 2-Euro-Gedenkmünzen aus Deutschland ganz anders aus – und die Ergebnisse werden immer absurder: Angeblich soll die Bundesrepublik im Jahr 2016 das Thema „200 Jahre Bundesländer Baden-Württemberg, Bayern, Hessen und Württemberg“ auf 2-Euro-Gedenkmünzen gefeiert haben – und im Jahr 2023 das Jubiläum „50 Jahre Rote Armee Fraktion.“

Wichtig ist deshalb, bei einem neuen Rechercheauftrag stets einen neuen Chat zu eröffnen – oder die KI auf ihre Fehler im bestehenden Chat hinzuweisen und beispielhafte Quellen zur Verfügung zu stellen, um die KI in die richtige Richtung zu lenken.

ChatGPT bleibt gern im Allgemeinen – und ist der König des Sammler-Smalltalks

Bei der Beantwortung von Fragen zeichnet sich ChatGPT durch einen Hang zu Allgemeinplätzen aus. So antwortet die KI beispielsweise auf die Frage „Welche 2-Euro-Münzen sind selten?“ kurz und knapp: „Seltene 2-Euro-Münzen sind oft Sammlerstücke aufgrund ihrer begrenzten Auflage, besonderen Motive oder speziellen Anlässe.“ Konkrete Beispiele aus den vergangenen 20 Jahren? Tipps zur Gestaltung der Auflagezahlen der unterschiedlichen Länder? Besonders beliebte Anlässe oder Motive? Fehlanzeige!

ChatGPT wiederholt sich ständig – doppelt hält nicht immer besser!

Schon lange, bevor es KI-Detektoren im Internet gab, mit denen man die Wahrscheinlichkeit einer KI-Urheberschaft ermitteln konnte, gab es ein verlässliches Erkennungszeichen von KI-Texten: Selbst wenn bereits in den vorherigen Absätzen viel wiederholt und zusammengefasst wurde, lässt es sich ChatGPT nicht nehmen, im allerletzten Absatz noch einmal alles zusammenzufassen. „Zusammenfassend lässt sich sagen, dass…“ ist eine Phrase, die in keinem ChatGPT-Text fehlen darf.

ChatGPT ist faul bei der Datenrecherche – und braucht offenbar einen digitalen Tritt in den virtuellen Hintern

Eine geradezu erstaunliche Eigenschaft von ChatGPT wird deutlich, wenn die künstliche Intelligenz gebeten wird, wie ein virtueller Assistent massenhaft numismatische Daten zu erheben, beispielsweise Auflagezahlen oder Marktpreise. Selbst wenn die konkrete Quelle vorgegeben wird, ist die Wahrscheinlichkeit groß, dass ChatGPT es sich bei der Datenrecherche etwas einfach macht.

Ein Beispiel – der Arbeitsauftrag lautet: „Extrahiere für mich die Preise für die China Panda Silbermünze aus dem Jahr 1983 in allen Grading-Stufen von der folgenden URL. Rufe die Seite jetzt auf und liefere die Daten in Echtzeit: https://www.ngccoin.com/price-guide/chinese-modern-coin-prices.aspx“

Für diesen Arbeitsauftrag liefert ChatGPT diverse Dollar-Werte, die größtenteils nicht den tagesaktuellen Zahlen entsprechen.

Der Verdacht liegt nahe, dass ChatGPT trotz der expliziten Aufforderung, die Seite aufzurufen, veraltete Daten aus dem eigenen Bestand durchforstet. Erst eine erneute Aufforderung nach dem Motto „Du hast meine Arbeitsanweisung nicht erfolgt. Rufe jetzt sofort die Seite auf, die ich dir zur Verfügung gestellt habe. Nutze keine veralteten Daten!“ bringt wie von Zauberhand die Daten hervor, die auch tatsächlich in der NGC-Datenbank vom aktuellen Tage auftauchen.

Fazit: Manchmal muss man mit ChatGPT reden wie mit einem Kind – und darauf bestehen, dass die KI auch wirklich ihre Hausaufgaben macht. Insbesondere bei der Erhebung von Daten müssen die ermittelten Ergebnisse gegengecheckt werden.

ChatGPT kann sich nicht verstecken – und wird zum Risiko fürs SEO-Ranking

Der Einsatz von künstlicher Intelligenz ist also nicht nur gefährlich für die Glaubwürdigkeit des eigenen Unternehmens, weil sich in die Texte und Daten ständig Fehler einschleichen können – auf lange Sicht schaden KI-Texte auch der Platzierung in Suchmaschinen. Zwar gilt in der SEO-Szene als Konsens, dass Suchmaschinen wie Google nicht automatisch alle KI-Texte abstrafen. Stattdessen ist der Goldstandard für die Suchmaschinen-Optimierung die „uniqueness“ (also die Einzigartigkeit) und der Mehrwert für den menschlichen Leser.

Die Wortwahl, der Satzbau, die innere Struktur – ChatGPT hinterlässt seine Spuren in jedem Text und wird dadurch auch für Suchmaschinen erkennbar. Wenn KI-Detektoren wie „quillbot.com“ oder „smodin.io“ und „scribbr.de“ inzwischen die KI-Wahrscheinlichkeit eines Textes in Prozent präzise bewerten können, wird Google einem Text mit einem KI-Wert von 100 Prozent wohl kaum eine hohe Einzigartigkeit bescheinigen. Auch dürfte der Mehrwert von Allgemeinplätzen und Informationen, die man an anderer Stelle im Internet tausendfach findet, überschaubar sein.

Fazit: ChatGPT ist (noch) kein guter Numismatiker

Künstliche Intelligenz wird als Innovation des Jahrzehnts und bisweilen sogar als Megatrend des Jahrhunderts gefeiert. Tatsächlich hat die Entwicklung von scheinbar allwissenden Bots wie ChatGPT gravierende Auswirkungen auf unseren Alltag – und auf die Numismatik, egal ob es unser Hobby oder unser Beruf ist.

Doch während die Rechercheergebnisse von ChatGPT zu allgemeinen Themen durchaus beachtlich sind und die KI zu allen Problemstellungen von der Bewerbung über die Doktorarbeit bis zum Heiratsantrag eine Antwort parat hat, ist die Technologie bei speziellem Fachwissen noch nicht ausgereift. Denn die Fachaufsätze aus Münzzeitschriften oder die Preistabellen aus Katalogen sind nicht im freien Internet verfügbar und im unvorstellbar großen Datenfundus von ChatGPT und Co. zu finden.

Die KI muss sich also mit dem behelfen, was mit einfachen Mitteln schnell auffindbar ist – und selbst bei populären numismatischen Themen legt ChatGPT bislang noch eine Oberflächlichkeit an den Tag, die nicht akzeptabel ist. Keine Frage: Es gibt Einsatzzwecke für die KI, die bereits jetzt ausgereift sind, beispielsweise die Zusammenfassung von Texten oder eine grobe Vorrecherche zu einem Thema. Auch die Übersetzung für einfache Zwecke hat ein beachtliches Niveau erreicht.

Händler und Sammler sowie Fachverlage und ihre Autoren sollten den KI-Trend aufmerksam verfolgen, aber wachsam bleiben – und sich daran erinnern, dass die Numismatik für Menschen gemacht ist und nicht für Maschinen. Denn die Leidenschaft, die Numismatiker in aller Welt vereint, wird sich wohl nie in einem Datenmodell abbilden lassen. Das bestätigt übrigens sogar ChatGPT höchstpersönlich, wenn man danach fragt.