Schlagwort: Claude Code

  • 17 Dollar für zweieinhalb Stunden: was die Messung über unsere Tokenkosten verraten hat (Teil 2)

    In Teil 1 habe ich meine SAP-Chats aufgeräumt: zwei getrennte Profile für Entwicklung und Beratung, ein Kickoff-Block pro Chat, und die Erkenntnis, dass sich „erst Sonnet, bei Bedarf Opus“ bis zu einer Eskalationsquote von 60 Prozent rechnet.

    Blieb die Frage, ob das überhaupt wirkt. Und dahinter die unangenehmere: irgendwann kommen Abrechnungs- und Nachweissituationen, und dann willst du Zahlen haben. Also haben wir gemessen. Was dabei herauskam, hat die schöne Theorie aus Teil 1 gleich mal einsortiert.

    Der Einstieg kostet null Aufwand

    Beide Werkzeuge haben das eingebaut. In Claude Code zeigt /usage den Session-Block mit Input, Output, Cache-Read und Cache-Write je Modell:

    Total cost:            $0.55
    Total duration (API):  6m 20s
    Usage by model:
       claude-sonnet-4-6:  1.2k input, 5.3k output, 940.0k cache read, 50.0k cache write ($0.55)

    Darunter steht auf einem Abo-Plan zusätzlich, welcher Anteil der letzten Nutzung auf Skills, Subagenten, Plugins und einzelne MCP-Server entfiel, plus Warnhinweise wie „langer Kontext“ oder „Cache-Miss“, sobald einer davon zehn Prozent oder mehr ausmacht. Mit d und w schaltest du zwischen 24 Stunden und sieben Tagen um. Wichtig: die Zähler setzen zurück, sobald du den Chat leerst. Eine Session ist also genau das, was zwischen zwei Aufräumaktionen liegt, was praktischerweise exakt zur Regel „ein Thema, ein Chat“ passt.

    In Cowork gibt es dasselbe als Skill: /explain-usage erklärt für die laufende Session, wohin die Tokens geflossen sind, mit kleiner Grafik und in normaler Sprache statt in Zählerkolonnen. Für den Berateralltag ist das der Einstieg, weil dort niemand ein Terminal offen hat.

    Der unterschätzte Befehl

    Interessanter als beide ist aber /insights. Der beantwortet nicht „wie viel“, sondern „warum“. Er wertet die letzten Sessions auf der Maschine aus und schreibt einen HTML-Report:

    ~/.claude/usage-data/report.html      # der aktuelle Lauf
    # dazu eine Kopie mit Zeitstempel je Durchlauf, nichts wird überschrieben

    Ein Lauf nimmt bis zu 200 noch nicht ausgewertete Sessions und überspringt die sehr kurzen. Im Kopf des Reports steht dann so etwas wie 200 sessions (412 total), damit du siehst, was fehlt. Inhaltlich geht es um Arbeitsmuster und Reibungspunkte: wo Anfragen missverstanden wurden, wo Code hinterher nicht lief, wo du dich im Kreis gedreht hast. Genau das sind die Stellen, an denen Tokens verbrennen, ohne dass eine Zahl es dir verrät.

    Kleiner Haken mit Humorwert: der Lauf selbst verbraucht Tokens. Die Kostenanalyse kostet also Geld. Einmal im Monat statt stündlich, und das Ergebnis wegsichern.

    Wenn es genauer sein soll: die Rohdaten

    Die liegen lokal, ein JSONL-Transkript pro Session:

    ls ~/.claude/projects/
    # ein Eintrag je Arbeitsverzeichnis, Slashes werden zu Bindestrichen:
    # /home/dev/kunden/kunde-a  ->  -home-dev-kunden-kunde-a

    Der Dateiname ohne Endung ist die Session-ID. In jeder Antwortzeile steckt ein Usage-Objekt:

    {
      "input_tokens": 2,
      "cache_read_input_tokens": 0,
      "output_tokens": 1417,
      "output_tokens_details": { "thinking_tokens": 528 },
      "cache_creation": {
        "ephemeral_1h_input_tokens": 69202,
        "ephemeral_5m_input_tokens": 0
      }
    }

    Selber parsen musst du das zum Glück nicht. Es gibt ccusage, ein Open-Source-Werkzeug, das genau diese Verzeichnisse liest und ohne Installation läuft:

    npx ccusage session                        # eine Zeile je Session
    npx ccusage session --json                 # maschinenlesbar, mit Session-ID und Kosten
    npx ccusage session --breakdown            # nach Modell aufgeschlüsselt
    npx ccusage session --since 20260801 --until 20260831
    npx ccusage daily                          # Tages- und Monatssummen gibt es auch

    Der Kostenmodus ist wählbar: --mode calculate rechnet aus den Tokenzählern, --mode display zeigt nur vorberechnete Werte. Das Werkzeug ist unabhängig von Anthropic, für den unternehmensweiten Einsatz solltest du also selbst draufschauen, bevor du es allen ausrollst.

    Uns hat am Ende ein eigenes Python-Skript besser gepasst, weil wir eine Spalte mehr brauchten: das Arbeitsverzeichnis als Mandatszuordnung, damit die CSV direkt zum Projekt passt. Und das war auch der Moment, in dem die Zahlen unbequem wurden.

    Der Befund

    Eine ganz normale Arbeitssession, großes Modell, 69 Turns, gut zweieinhalb Stunden:

    TokenartMengeKostenanteil
    Input, ungecacht138ca. 0 $
    Output99.3672,48 $
    Cache-Read5,88 Mio.2,94 $
    Cache-Write (1 Std.)1,19 Mio.11,94 $
    Summe7,18 Mio.17,37 $

    Der klassische Input: 138 Tokens. Einhundertachtunddreißig. Praktisch bedeutungslos. Zwei Drittel der Kosten entstehen beim Cache-Schreiben.

    Das ergibt Sinn, wenn man die Multiplikatoren kennt. Ein Cache-Treffer kostet nur 0,1 mal Input, das Schreiben in den Cache dagegen 1,25 mal (fünf Minuten Haltbarkeit) oder 2 mal (eine Stunde). Jeder Cache-Miss nach einer längeren Pause schreibt den kompletten Kontext neu. Und weil der ganze Verlauf bei jedem Turn erneut mitgeht, wachsen die Inputkosten quadratisch mit der Turn-Zahl: ein Chat mit 40 Turns kostet grob das Vierfache von vier Chats mit je zehn.

    Damit hat sich unsere Prioritätenliste aus Teil 1 gedreht. Sessionhygiene schlägt Modellwahl. Ein Thema, ein Chat, dazwischen konsequent aufräumen: das ist der Hebel, der nichts kostet außer einer Gewohnheit, und er wirkt stärker als jeder Preisunterschied zwischen den Modellen. Die 60-Prozent-Regel bleibt richtig, sie ist nur nicht Platz eins.

    Irrweg: die Dollarzahl ist keine Rechnung

    Weil die Abrechnungsfrage der eigentliche Anlass war, haben wir weitergefragt. Und da liegt eine Falle, die man besser vor dem ersten Kundengespräch kennt.

    Der Betrag, den die Werkzeuge anzeigen, ist auf einem Abo-Plan eine lokal berechnete Schätzung zu Listenpreisen. Sie kennt weder eure Konditionen noch Rabatte, stammt nur von dieser einen Maschine, und als Rechnungsposten existiert sie schlicht nicht: das Kontingent hängt am Sitzplatz, nicht an der Session. Als Steuerungsgröße taugt sie, als Beleg nicht. Wer echte Belege braucht, muss auf API-Nutzung mit einem eigenen Bereich je Kunde wechseln, und zahlt dann pro Token statt pauschal.

    Irrweg: die Daten sind nach 30 Tagen weg

    Die Sache, die uns fast durchgerutscht wäre: die Transkripte werden nach 30 Tagen automatisch gelöscht. Standardwert, unspektakulär dokumentiert, brutal in der Wirkung. Wer im Quartalsgespräch nach Belegen sucht, findet ein leeres Verzeichnis. Wenn diese Daten eure Nachweisgrundlage werden sollen, braucht ihr einen monatlichen Export, bevor die Rohdaten verfallen. Ein Cronjob am Monatsanfang reicht.

    Zweiter Punkt, im Kundenkontext ernst zu nehmen: die Transkripte sind Klartext und unverschlüsselt. Alles, was durch ein Werkzeug lief, steht darin, inklusive Dateiinhalten und Kommandoausgaben. Das gehört vorher durch Betriebsvereinbarung und Vertraulichkeitsprüfung, nicht hinterher.

    Und dann die unbequeme Frage

    Am Ende stand die Rechnung, die ich eigentlich zuerst hätten machen sollen. Als Größenordnung werden rund 150 bis 250 Dollar pro Entwickler und Monat genannt. Gegen einen Beratertagessatz ist das der Gegenwert von etwa einer Stunde.

    Für einen Betrag in dieser Größe eine sessiongenaue Einzelabrechnung aufzubauen, ist ökonomischer Unfug. Ein Pauschalzuschlag ist billiger in der Erstellung und deutlich weniger angreifbar als eine Schätzung, die sich als Rechnung ausgibt. Die Messung brauche ich trotzdem, aber zum Steuern, nicht zum Abrechnen.

    Learnings

    • Drei Befehle, drei Fragen. /usage und /explain-usage sagen dir, wie viel. /insights sagt dir, warum. Skripte brauchst du erst, wenn du auf Mandate umlegen willst.
    • Cache-Write ist der größte Einzelposten. In unserer Messung zwei Drittel der Kosten. Der klassische Input ist Rauschen.
    • Sessionhygiene vor Modellwahl. Der Kontext wächst quadratisch, das schlägt jeden Preisunterschied zwischen den Modellen.
    • Die angezeigte Zahl ist eine Schätzung, keine Rechnung. Auf einem Abo-Plan gibt es keinen Rechnungsposten pro Session.
    • 30 Tage Aufbewahrung. Wer Nachweise braucht, exportiert monatlich, sonst ist die Grundlage weg, bevor jemand danach fragt.
    • Erst prüfen, ob sich der Nachweisaufwand lohnt. Manchmal ist die richtige Antwort auf „wie rechnen wir das ab“ schlicht: gar nicht einzeln.
  • Immer Fable, immer volle Kanne: zwei Profile und eine Rechnung, die uns überrascht hat (Teil 1)

    Im SAP-Umfeld gibt es bei eigentlich nur zwei Modi. Entweder ich entwickle und mache technische Analysen (ABAP Cloud, RAP, CDS, ab und zu BTP), oder ich bin als Berater quer durch den Modulgarten unterwegs, heute FI, morgen MM, übermorgen die Frage, warum die Kontenfindung anders bucht als gedacht.

    In beiden Fällen bin ich bisher gleich vorgegangen: Chat auf, größtes Modell, drauflos. Ohne Persona, ohne Vorgaben, ohne alles. Das ist wunderbar bequem und produziert erstaunlich lange Wartezeiten. Irgendwann kam die Frage, ob das eigentlich sein muss.

    Irrweg Nummer eins: ein Profil für beides

    Der erste Reflex war, eine einzige gute Persona zu bauen, die beide Rollen abdeckt. Also so etwas wie „du bist SAP-Experte für Entwicklung und Beratung, richte dich danach, was ich gerade brauche“.

    Funktioniert schlecht. Ein solcher Vorspann muss beide Welten beschreiben, und du schleppst in jedem Entwicklungs-Chat die Beratungsanweisungen mit und umgekehrt. Schlimmer noch: das Modell muss in jedem Turn selbst entscheiden, in welchem Modus es gerade ist, und liegt dabei zuverlässig manchmal daneben. Antworten in der falschen Flughöhe waren bei uns ohnehin das häufigste Ärgernis, eine Umschalt-Persona macht das nicht besser.

    Die Lösung war unspektakulär: zwei getrennte Projekte, eins für Entwicklung, eins für Beratung, jeweils mit einer festen Persona in den Instructions. Kein Umschalten, kein Ballast.

    Was in so eine Persona gehört

    Die Entwickler-Variante regelt vier Dinge: Rolle und Haltung (Clean Core, Erweiterung vor Modifikation), die Antwortstruktur (Einordnung, Lösung, Transport- und Upgradefolgen), die Arbeitsweise (nur geänderte Codeabschnitte zeigen, bei Fehlern erst Hypothese plus einen Prüfschritt in ST22 oder ST05, unsichere technische Namen als „zu verifizieren in ADT“ markieren statt zu raten) und ein Ausgabebudget.

    Die Berater-Variante sieht anders aus, weil die Arbeit anders aussieht. Dort ist die Antwortstruktur: Prozesskontext, Standardweg im Sinne von Fit-to-Standard, konkreter Customizing-Pfad, Delta und Aufwand, offene Punkte für den Kunden. Dazu die Anweisung, die modulübergreifende Wirkung immer mitzuprüfen, also Bewertungsklasse und Kontenfindung von MM nach FI, Erlöskontenfindung von SD nach FI, die Ergebnisrechnung in CO-PA.

    Ein Detail, das mehr gebracht hat als erwartet: die Anweisung, unsichere technische Namen zu kennzeichnen, statt plausibel klingende zu erfinden. Ein erfundener BAdI-Name kostet dich zwanzig Minuten im System, bis du merkst, dass es ihn nicht gibt.

    Der Kickoff-Block

    Pro Chat kommt ein sechszeiliger Block obendrauf, ausgefüllt in etwa 30 Sekunden:

    ROLLE:   SAP-Entwickler, Schwerpunkt RAP
    SYSTEM:  S/4HANA 2023 On-Prem, Developer Extensibility
    ZIEL:    Determination ergänzen, die bei Anlage die Kostenstelle ableitet
    GEGEBEN: BDEF, CDS View, Handler-Klasse (angehängt)
    NICHT:   Draft-Handling, UI, Berechtigungen
    OUTPUT:  Diff plus drei ABAP-Unit-Testfälle, max. 80 Zeilen

    Für die Beratungsseite hat der Block zwei andere Zeilen, die den Unterschied machen: ADRESSAT (Fachbereich, IT oder Lenkungskreis) und ANNAHMEN (was das Modell ungefragt voraussetzen darf). Das erste steuert Ton und Tiefe und erspart die Runde „bitte nochmal für den Lenkungskreis“, das zweite ersetzt die Rückfrageschleife.

    Die wirksamsten Zeilen sind aber in beiden Fällen NICHT und OUTPUT. Die erste verhindert ungefragte Zusatzarbeit, die zweite deckelt die Ausgabeseite. Zusammen etwa 60 Tokens Aufwand.

    Irrweg Nummer zwei: „Sonnet lohnt sich nicht, weil ich es dann zweimal mache“

    Dann die Modellfrage. Die Listenpreise pro Million Tokens sehen so aus:

    ModellInputOutput
    Opus 55 $25 $
    Sonnet 52 $10 $
    Haiku 4.51 $5 $

    Das Verhältnis ist auf beiden Seiten gleich: Opus kostet das 2,5-fache von Sonnet und das 5-fache von Haiku. Wer grundsätzlich das größte Modell fährt, zahlt für jede Formatierungsaufgabe den fünffachen Preis.

    Der Einwand kam sofort, und zwar von mir selbst: wenn Sonnet nicht reicht, mache ich die Arbeit zweimal, und dann war nichts gespart. Klingt plausibel, hält aber der Rechnung nicht stand.

    Bei „Sonnet zuerst, bei Bedarf Eskalation auf Opus“ kostet eine Aufgabe 1 + p × 2,5 Einheiten, wobei p der Anteil der eskalierten Fälle ist. „Immer Opus“ kostet 2,5. Gleichstand liegt bei p = 0,6.

    Solange also weniger als 60 Prozent der Aufgaben hochgestuft werden müssen, ist Sonnet zuerst billiger, und zwar selbst dann, wenn die Eskalation die komplette Arbeit wiederholt. Im SAP-Alltag liegt der Wert deutlich darunter, weil der Großteil nachschlagen, formulieren oder nach klarer Spec umsetzen ist. Was tatsächlich sofort auf das große Modell gehört: modulübergreifende Konzeptarbeit, Root-Cause-Analyse ohne klare Fehlermeldung, Migrations- und Architekturentscheidungen. Also alles, wo ein Fehler später Tage kostet.

    Und was ich bewusst nicht optimiert habe

    Der naheliegende nächste Gedanke war, die Persona möglichst knapp zu halten, um Tokens zu sparen. Das ist Unsinn, und zwar aus einem Grund, der uns erst später richtig klar wurde: stabile Vorspänne werden gecacht und dabei mit einem Zehntel des normalen Preises abgerechnet. Eine gut ausformulierte Persona kostet praktisch nichts, solange du sie nicht ständig umschreibst.

    Genau das ist übrigens die häufigste Selbstsabotage: Instructions mitten in einer Arbeitssitzung nachschärfen. Jede Änderung wirft den Cache weg. Sammle die Änderungen und zieh sie gebündelt nach.

    Learnings

    • Zwei Rollen, zwei Projekte. Eine Umschalt-Persona schleppt in jedem Chat die jeweils andere Hälfte mit und rät trotzdem gelegentlich falsch.
    • NICHT und OUTPUT sind die wirksamsten Zeilen im Prompt. Sie kosten 60 Tokens und sparen Nachfragerunden.
    • Sonnet zuerst rechnet sich bis zu 60 Prozent Eskalationsquote. Selbst wenn die Eskalation die ganze Arbeit wiederholt.
    • Unsichere technische Namen kennzeichnen lassen. Ein erfundener BAdI kostet mehr Zeit als jeder Tokenpreis.
    • An der Persona zu sparen ist die falsche Baustelle. Sie ist gecacht und damit fast gratis.

    Damit war ich zufrieden. Bis ich angefangen haben zu messen, wo die Tokens tatsächlich hingehen. Das Ergebnis hat meine Prioritätenliste umgeworfen, und die Modellwahl war plötzlich nicht mehr der Hauptschuldige. Darum geht es in Teil 2.