ChatGPT oder Claude: Aufgaben statt Marken vergleichen
Keine erfundene Rangliste: So entwickeln Sie einen fairen Vergleich für Texte, Dokumentanalyse und Programmieraufgaben mit nachvollziehbaren Ergebnissen.
Bei der Frage „ChatGPT oder Claude?“ stehen häufig persönliche Eindrücke im Vordergrund. Eine Antwort wirkt verständlicher. Ein Entwurf klingt eleganter. Ein Programmbeispiel erscheint schneller. Für eine betriebliche Entscheidung braucht es zusätzlich eine nachvollziehbare Verbindung zwischen Aufgabe, Ergebnis und Arbeitsaufwand.
Dieser Beitrag zeigt einen praktisch durchführbaren Vergleich für Texte, Dokumentanalyse und kleine Programmieraufgaben. Er veröffentlicht keinen durchgeführten Produkttest und keine gemessene Rangliste. Die Beispiele sind eigens entwickelte Prüfaufgaben. Die genannten Produktinformationen beruhen auf offiziellen Quellen mit Prüfstand 9. November 2026. Verfügbarkeit und Einstellungen sind im eigenen Zugang erneut zu prüfen.
1. Produkt, Modell und Arbeitsablauf auseinanderhalten
ChatGPT und Claude bezeichnen Produkte mit unterschiedlichen Zugängen und Funktionen. Innerhalb eines Produkts können verschiedene Modelle und Arbeitsweisen verfügbar sein. Ein Ergebnis hängt außerdem davon ab, welche Dateien, Suchmöglichkeiten oder weiteren Werkzeuge tatsächlich bereitstehen.
Deshalb ist „ChatGPT hat gewonnen“ nach einem einzelnen Versuch meist eine zu grobe Aussage. Nachvollziehbar wäre: Eine bestimmte Konfiguration lieferte für diese Aufgabe unter den dokumentierten Bedingungen das besser geeignete Ergebnis. Diese engere Aussage ist praktisch nützlicher und kann später erneut geprüft werden.
Die offizielle OpenAI-Dokumentation zur Verwendung von ChatGPT unterscheidet Chat, ChatGPT Work und Codex nach der gewünschten Arbeitsform. Eine kurze Antwort und ein fertig erstelltes Dokument sind unterschiedliche Leistungen. Die im Konto freigeschalteten Werkzeuge und Verwaltungsregeln gehören zur Vergleichsbeschreibung.
Beginnen Sie deshalb mit einem kleinen Steckbrief pro Kandidat. Notieren Sie Produktzugang, sichtbaren Modellnamen, Einstellung, Datum und verwendete Quellen. Behaupten Sie keine exakte Modellversion, wenn die Oberfläche diese nicht ausweist. Eine ehrliche Dokumentationslücke ist besser als eine erfundene technische Präzision.
2. Zuerst entscheiden, was verglichen werden soll
Es gibt zwei sinnvolle Fragestellungen. Ein kontrollierter Aufgabenvergleich prüft beide Kandidaten mit möglichst gleichen Eingaben und vergleichbaren Hilfsmitteln. Ein Arbeitsablaufvergleich untersucht dagegen das beste tatsächlich nutzbare Vorgehen im jeweiligen Produkt.
Für den ersten Vergleich kann beispielsweise die Websuche bei beiden ausgeschaltet bleiben. Für den zweiten darf eine verfügbare Suchfunktion bewusst Teil des Ablaufs sein. Die Ergebnisse beantworten dann unterschiedliche Fragen. Schreiben Sie diese Unterscheidung bereits in die Testbeschreibung.
Wenn ein Produkt einen benötigten Dateityp im vorhandenen Zugang nicht verarbeiten kann, ist das eine praktische Zugangsbeschränkung. Daraus folgt keine allgemeine Aussage über die Sprachfähigkeit sämtlicher Modelle des Herstellers. Halten Sie Funktionsverfügbarkeit und Qualität einer ausgeführten Aufgabe getrennt fest.
Für eine Anschaffungsentscheidung zählt am Ende der eigene Arbeitsablauf. Dazu gehören vorhandene Zugänge, erlaubte Daten und benötigte Ergebnisse. Eine theoretisch leistungsfähige Konfiguration hilft wenig, wenn sie im Unternehmen nicht freigegeben oder nicht sinnvoll betreibbar ist.
3. Ein kleines repräsentatives Aufgabenpaket zusammenstellen
| Aufgabe | Gemeinsame Eingabe | Wichtige Prüfung |
|---|---|---|
| Leistungstext | Freigegebene Fakten und Zielgruppe | Keine erfundenen Leistungsversprechen |
| Dokumentvergleich | Zwei klar bezeichnete Fassungen | Änderungen mit korrekter Fundstelle |
| Datenauszug | Kleines Beispieldokument mit fehlendem Wert | Fehlenden Wert offenlassen |
| Programmieraufgabe | Funktion und beobachteter Fehler | Verhalten durch geeignete Fälle prüfen |
| Recherche | Abgegrenzte Frage und Quellenregeln | Originalquelle trägt die konkrete Aussage |
Die Aufgaben sollten die tatsächliche Arbeit abbilden. Wer überwiegend vorhandene Texte überarbeitet, braucht zunächst keinen Wettbewerb im freien Verfassen von Gedichten. Wer Supportentwürfe erstellt, sollte typische Rückfragen und unvollständige Angaben berücksichtigen.
Die OpenAI-Empfehlungen zur Evaluation betonen aufgabenbezogene Prüfungen und die Verbindung von Messgrößen mit menschlichem Urteil. Diese Grundidee lässt sich ohne eine bestimmte Evaluationsplattform in einer überschaubaren betrieblichen Stichprobe umsetzen.
Verwenden Sie möglichst bereinigte oder eigens entwickelte Unterlagen. Ein Produkttest ist kein Grund, vertrauliche Kundendaten unkontrolliert in mehrere Systeme zu kopieren. Entscheiden Sie vorher, welche Materialien für diesen Zweck verwendet werden dürfen.
4. Gute Ergebnisse vor dem Versuch definieren
Schreiben Sie für jede Aufgabe fest, welche Tatsachen erhalten bleiben müssen. Bei einem Leistungstext können dies beispielsweise Leistungsumfang, Einschränkungen und ein ausdrücklich nicht enthaltenes Angebot sein. Prüfen Sie anschließend genau diese Bestandteile.
Ergänzen Sie die gewünschte Verwendung. Ein interner Rohentwurf darf sprachlich weniger ausgearbeitet sein als eine öffentliche Leistungsbeschreibung. Beide brauchen korrekte Fakten. Die notwendige redaktionelle Reife unterscheidet sich jedoch.
Die Anthropic-Dokumentation zu Erfolgskriterien und Evaluationen beschreibt konkrete, messbare und auf den Zweck bezogene Kriterien. Für eine kleine Vergleichsrunde genügt oft eine verständliche Prüfliste. Wichtig ist, dass sie vor der Sichtung der Ergebnisse feststeht.
Vermeiden Sie eine einzige Schulnote für alles. Ein hübsch formulierter Text kann eine falsche Garantie enthalten. Ein richtiger Datenauszug kann unbrauchbar formatiert sein. Getrennte Kriterien machen sichtbar, welche Art von Nacharbeit anfällt.
5. Kritische Fehler von Stilfragen trennen
Ein erfundener Vertragstermin oder eine nicht belegte Produktgarantie ist anders zu behandeln als eine etwas zu lange Einleitung. Legen Sie kritische Fehler als Ausschlusskriterium für die betreffende Ausgabe fest. Gute Formulierungen dürfen einen solchen Fehler nicht rechnerisch ausgleichen.
Für die übrigen Kriterien eignet sich eine kleine beschriebene Skala. Die folgende Skala ist eine redaktionelle Arbeitshilfe und kein wissenschaftlich validiertes Messinstrument. Verwenden Sie sie nur mit den ausdrücklich genannten Bedeutungen.
| Stufe | Bedeutung für einen Entwurf | Konsequenz |
|---|---|---|
| 0 | Wesentliche Anforderung verfehlt | Grundlegend neu bearbeiten |
| 1 | Teilweise brauchbar mit deutlicher Nacharbeit | Inhaltlich oder strukturell überarbeiten |
| 2 | Anforderung weitgehend erfüllt | Gezielte Korrekturen erforderlich |
| 3 | Anforderung im vereinbarten Umfang erfüllt | Übliche Abschlussprüfung |
Beschreiben Sie bei jeder Bewertung die konkrete Beobachtung. „Zielgruppe unklar“ sollte sich beispielsweise auf einen erklärungsbedürftigen Fachbegriff oder eine fehlende Handlungsinformation beziehen. Ohne solche Belege werden Zahlen leicht zu scheinpräzisen Geschmacksurteilen.
6. Ein Textbeispiel mit kontrollierbaren Fakten
Für einen fiktiven Wartungsbetrieb gelten diese freigegebenen Fakten: Er wartet Lüftungsanlagen für Gewerbekunden im eigenen Landkreis. Termine werden nach Vereinbarung vergeben. Reparaturen an Kälteanlagen gehören nicht zum Angebot. Ein Rund-um-die-Uhr-Dienst ist nicht zugesagt.
Ein passender Testauftrag lautet: „Erstellen Sie aus den folgenden Fakten einen kurzen Leistungstext für gewerbliche Gebäudeverantwortliche. Erklären Sie Angebot und nächsten Schritt verständlich. Ergänzen Sie keine Leistungen, Garantien oder Erreichbarkeiten. Geben Sie anschließend an, welche Information für einen konkreten Termin noch fehlt.“
Die Auswertung prüft zunächst, ob die Einschränkungen erhalten bleiben. Danach folgen Verständlichkeit, Zielgruppenbezug und nächster Schritt. Ein souverän klingender Hinweis auf einen jederzeit erreichbaren Notdienst wäre hier ein kritischer erfundener Zusatz.
Führen Sie bei Bedarf eine zweite Runde mit einer gezielten Rückmeldung durch. Dokumentieren Sie diese Rückmeldung genauso wie den ersten Auftrag. Ein Vergleich der überarbeiteten Ergebnisse ist nur nachvollziehbar, wenn die zusätzlich gegebenen Hilfen sichtbar bleiben.
7. Dokumentanalyse mit einer vorbereiteten Referenz prüfen
Für den Dokumentvergleich erstellen Sie zwei kurze Fassungen eines fiktiven Angebots. Ändern Sie bewusst einen Leistungsbestandteil und einen Termin. Lassen Sie einen dritten Abschnitt unverändert. Die erwarteten Änderungen dokumentieren Sie unabhängig von den Kandidaten.
Der Auftrag verlangt eine Tabelle mit Änderung, alter Fassung, neuer Fassung und Fundstelle. Prüfen Sie anschließend, ob tatsächlich alle Änderungen gefunden wurden. Kontrollieren Sie ebenso, ob unveränderte Passagen fälschlich als geändert erscheinen.
Ein besonders wichtiger Fall ist eine fehlende Information. Wenn die neue Fassung keinen Preis enthält, darf das System ihn nicht aus der alten Fassung als weiterhin gültig ableiten, sofern der Auftrag diese Schlussfolgerung nicht trägt. Fehlende Angaben benötigen eine erkennbare Kennzeichnung.
Prüfen Sie auch den Dateizugriff. Eine formal hochgeladene Datei ist noch kein Beleg dafür, dass eine bestimmte Tabelle korrekt eingelesen wurde. Bei Scans und komplexem Layout muss die vorgelagerte Erfassung der Inhalte ebenfalls zur Aufgabe passen.
8. Projektkontext bewusst kontrollieren
Bereits vorhandene Anweisungen, Erinnerungen und Projektdateien können einen Vergleich beeinflussen. Ein Kandidat kennt vielleicht schon die Tonalität des Unternehmens. Der andere erhält nur den kurzen Testauftrag. Das wäre für einen kontrollierten Vergleich eine ungleiche Ausgangslage.
Anthropics Anleitung zu Projekten in Claude beschreibt Projektwissen und Projektanweisungen. Prüfen Sie deshalb, welcher Kontext in der jeweiligen Sitzung tatsächlich bereitsteht. Ein Projektname allein ersetzt keine ausdrücklich bereitgestellte Arbeitsgrundlage.
Beginnen Sie einen kontrollierten Versuch in einer klar dokumentierten Umgebung. Falls gespeicherte Einstellungen nicht vollständig ausgeschaltet werden können, halten Sie diese Einschränkung fest. Vermeiden Sie Behauptungen über eine identische Ausgangslage, die Sie nicht belegen können.
In einem Arbeitsablaufvergleich darf vorhandener Projektkontext dagegen bewusst genutzt werden. Dann gehört sein Aufbau zum Einrichtungsaufwand. Wer umfangreiche Unternehmensregeln pflegt, sollte deren spätere Aktualisierung ebenfalls in die Bewertung aufnehmen.
9. Programmieraufgaben anhand des Verhaltens bewerten
Ein Codebeispiel ist nicht bereits deshalb richtig, weil es übersichtlich formatiert ist. Für einen Vergleich brauchen Sie eine kleine Aufgabe mit klarer Spezifikation. Beispielsweise soll eine Funktion einen optionalen Prozentwert prüfen und unzulässige Eingaben ablehnen.
Stellen Sie Grenzfälle bereit: fehlender Wert, Null, erlaubte Obergrenze, negativer Wert und unerwarteter Datentyp. Prüfen Sie das Verhalten unabhängig vom erzeugten Erklärungstext. Ein überzeugender Abschlussbericht kann einen fehlgeschlagenen Test nicht ersetzen.
Wenn die Produkte Werkzeuge zur Ausführung verwenden dürfen, dokumentieren Sie diese Möglichkeit. Vergleichen Sie danach die gespeicherte Änderung und die tatsächlich ausgeführten Prüfungen. Ein bloßer Vorschlag und eine überprüfte Änderung am Projekt sind unterschiedliche Ergebnisse.
Die Aufgabe sollte außerdem zum vorhandenen Projekt passen. Neue Bibliotheken oder geänderte Schnittstellen sind nicht automatisch Verbesserungen. Bewertungskriterien müssen deshalb auch den vereinbarten Umfang und den Erhalt vorhandenen Verhaltens berücksichtigen.
10. Eine kleine Prüffunktion für die Auswertung
Das folgende JavaScript führt keine KI-Anfrage aus. Es entscheidet ausschließlich, ob ein von Menschen bewerteter Entwurf in einer fiktiven Testaufgabe die zuvor festgelegte Mindestanforderung erfüllt. Ein kritischer Fehler sperrt die Ausgabe unabhängig von den übrigen Bewertungen.
function meetsDraftBar(review) {
const keys = ["facts", "completeness", "audience"];
if (review === null || typeof review !== "object") return false;
if (review.criticalError !== false) return false;
return keys.every(key => {
const value = review[key];
return Number.isInteger(value) && value >= 2 && value <= 3;
});
}Die gewählte Grenze ist Teil dieses Lehrbeispiels. Sie ist keine universelle Freigaberegel für Unternehmensinhalte. Vor allem übernimmt die Funktion keine Prüfung von Tatsachen. Sie verarbeitet nur bereits vorgenommene Bewertungen und muss zur jeweiligen Aufgabe passen.
Bewahren Sie zu jedem Eintrag die begründenden Beobachtungen auf. Eine bestandene automatische Auswertung ist ohne nachvollziehbare menschliche Bewertung wenig aussagekräftig. Für öffentliche Inhalte bleibt außerdem die vereinbarte redaktionelle Abschlussprüfung erforderlich.
11. Wiederholungen und Korrekturen fair behandeln
Eine einzelne gelungene Antwort kann zufällig gut zur Aufgabe passen. Wiederholen Sie wichtige Fälle unter den dokumentierten Bedingungen. Halten Sie Unterschiede fest, statt nur das schönste Ergebnis auszuwählen.
Entscheiden Sie vorher, ob beide Kandidaten eine Nachbesserung erhalten dürfen. Verwenden Sie eine vergleichbare Regel, etwa genau eine inhaltliche Rückmeldung pro Aufgabe. Der Text dieser Rückmeldung muss nicht wortgleich sein, sollte aber dieselbe Art von Hilfe geben.
Trennen Sie die erste Ausgabe vom abschließend nutzbaren Ergebnis. Für manche Abläufe ist ein guter Rohentwurf ausreichend. Für andere zählt, ob das System nach einer präzisen Korrektur zuverlässig alle Anforderungen erfüllt. Beide Beobachtungen können für die Auswahl relevant sein.
Verändern Sie während einer Vergleichsrunde nicht gleichzeitig Modell, Auftrag und Quellenbestand. Sonst bleibt unklar, wodurch eine Verbesserung entstanden ist. Gezielte Änderungen erlauben eine bessere Diagnose und sparen spätere Diskussionen über bloße Eindrücke.
12. Zeit und Kosten auf das nutzbare Ergebnis beziehen
Notieren Sie neben der Wartezeit auch den eigenen Aufwand. Dazu gehören Unterlagen vorbereiten, Auftrag formulieren, Ergebnisse prüfen und Fehler korrigieren. Eine schnelle Antwort kann insgesamt mehr Arbeit verursachen als ein langsamerer brauchbarer Entwurf.
Vergleichen Sie Gebühren nur anhand des tatsächlichen Zugangs und der geltenden Konditionen. Ein Abonnementpreis ist keine allgemeine Aussage über Kosten einer API-Integration. Ebenso darf eine kurzfristige Kontogrenze nicht als dauerhafte Eigenschaft aller Zugänge dargestellt werden.
Die OpenAI-Dokumentation zur Modellauswahl nennt GPT-6.1 Sol mit mittlerem Denkaufwand als möglichen Ausgangspunkt für komplexe technische Arbeit und abgestimmte Ergebnisse mit anschließender Überarbeitung. Das ist eine Orientierung des Anbieters und kein Beleg für einen Sieg über Claude.
Für eine umfangreiche redaktionelle Serie ist deshalb eine begrenzte repräsentative Pilotmenge sinnvoll. Prüfen Sie Quellenarbeit, fachliche Tiefe, Stil und Überarbeitungsbedarf. Die Einstellung ist ausreichend, wenn sie die definierten Anforderungen im eigenen Arbeitsablauf zuverlässig erfüllt.
13. Ergebnisse ohne vorgetäuschte Genauigkeit dokumentieren
Fassen Sie pro Aufgabe die geprüften Stärken, Fehler und benötigten Korrekturen zusammen. Verwenden Sie konkrete Beobachtungen statt pauschaler Eigenschaften wie „kreativer“ oder „intelligenter“. Eine geeignete Aussage lautet etwa: Der Entwurf bewahrte alle fünf vorgegebenen Einschränkungen.
Wenn die Ergebnisse eng beieinanderliegen, ist auch das ein verwertbares Resultat. Dann können vorhandene Zugänge, Einrichtungsaufwand und die Qualität des weiteren Arbeitsablaufs entscheiden. Erzwingen Sie keinen Gesamtsieger, wenn die Aufgaben unterschiedliche Stärken zeigen.
Speichern Sie Eingaben und Ausgaben mit dem Prüfdatum. Bei späteren Produktänderungen kann dieselbe Aufgabenmenge erneut verwendet werden. Ergänzen Sie neue Fälle, wenn im Alltag eine bislang nicht erfasste Fehlerart auftritt.
Veröffentlichen Sie keine prozentuale Überlegenheit aus einer kleinen ungeeigneten Stichprobe. Ein interner Aufgabenvergleich erlaubt zunächst eine Aussage über genau diese Aufgaben. Für weitergehende Schlussfolgerungen braucht es eine passend angelegte Untersuchung.
14. Erwartungen an Marken aus der Bewertung heraushalten
Wenn möglich, lassen Sie eine weitere Person die Ausgaben ohne sichtbaren Produktnamen beurteilen. Kennzeichnen Sie die Kandidaten für diese Sichtung lediglich mit neutralen Kürzeln. Bewahren Sie die Zuordnung getrennt auf. So lässt sich ein Teil der vorher bestehenden Erwartung an einen Hersteller verringern.
Die Blindprüfung beseitigt nicht alle Einflüsse. Unterschiedliche Formulierungsgewohnheiten können einen Kandidaten erkennbar machen. Auch die Reihenfolge der vorgelegten Texte kann die Wahrnehmung verändern. Wechseln Sie deshalb bei einer zweiten Sichtung die Reihenfolge und halten Sie das Verfahren fest.
Bei strittigen Bewertungen hilft ein gemeinsamer Blick auf die konkrete Anforderung. Enthält die Ausgabe eine zugesagte Garantie, die nicht in den Quellen steht? Ist ein geforderter Abschnitt vorhanden? Solche Fragen lassen sich genauer diskutieren als ein allgemeines Gefühl von sprachlicher Qualität.
Trennen Sie außerdem den Geschmack des Prüfers von der vereinbarten Zielgruppe. Ein sehr technischer Text kann einem Entwickler gefallen und für Gebäudeverantwortliche trotzdem unverständlich sein. Die Bewertungsnotiz sollte deshalb erklären, wie eine Formulierung den vorgesehenen Lesern hilft oder sie behindert.
Falls zwei qualifizierte Prüfer zu unterschiedlichen Ergebnissen kommen, dokumentieren Sie den Grund. Möglicherweise ist die Aufgabe mehrdeutig. Dann ist eine präzisere Anforderung hilfreicher als ein rechnerischer Mittelwert, der den tatsächlichen Konflikt verdeckt.
15. Checkliste für den eigenen Vergleich
- Ist die Fragestellung als Aufgaben- oder Arbeitsablaufvergleich beschrieben?
- Sind Produkt, Modell, Datum, Einstellungen und Werkzeuge dokumentiert?
- Erhalten beide Kandidaten die vereinbarte Informationsgrundlage?
- Stehen kritische Fehler und Qualitätskriterien vorher fest?
- Enthält das Paket typische Aufgaben und relevante Ausnahmefälle?
- Gibt es unabhängige Referenzen für Fakten und Dokumentänderungen?
- Sind Wiederholungen und Nachbesserungen nachvollziehbar geregelt?
- Werden Prüfung und Korrektur beim Aufwand mitgerechnet?
- Ist jede Schlussfolgerung auf den tatsächlich geprüften Umfang begrenzt?
16. Häufige Fragen
Ist Claude grundsätzlich besser für lange Texte?
Eine pauschale Aussage wäre ohne Modell, Produktzugang und Aufgabe nicht belastbar. Prüfen Sie beispielsweise Faktenbindung, durchgängige Begriffe und das Finden relevanter Stellen im eigenen Dokumentbestand. Die maximal aufnehmbare Textmenge allein beantwortet diese Fragen nicht.
Reicht GPT-6.1 Sol mit mittlerem Denkaufwand?
Für viele anspruchsvolle Entwürfe ist diese Einstellung ein sinnvoller zu prüfender Ausgangspunkt. Ob sie für die eigene Serie genügt, zeigt die Qualität repräsentativer Ergebnisse einschließlich Quellenprüfung und Nacharbeit. Ein höherer Denkaufwand ersetzt diese Kontrollen ebenfalls nicht.
Muss man beide Produkte dauerhaft bezahlen?
Nein. Eine Auswahl kann mit den tatsächlich verfügbaren und für den Zweck erlaubten Zugängen beginnen. Prüfen Sie vor einem größeren Versuch die aktuellen Bedingungen. Ein dauerhafter zweiter Zugang sollte einen nachvollziehbaren Nutzen im eigenen Arbeitsablauf haben.
Kann ein weiteres Modell die Bewertung übernehmen?
Es kann bei klaren Kriterien unterstützen. Seine Urteile müssen jedoch an nachvollziehbaren menschlichen Bewertungen geprüft werden. Ein zusätzlicher KI-Kommentar liefert keinen unabhängigen Tatsachenbeleg und beseitigt keine fehlende Originalquelle.
Für eine allgemeinere Einordnung ergänzt unser Überblick zu ChatGPT und Claude in der Agenturarbeit die Perspektive. Die konkrete Auswahl wird belastbar, wenn ein begrenzter Versuch zeigt, wie zuverlässig die eigene Arbeit mit der jeweiligen Konfiguration gelingt.
