Il costo cresce perché a ogni messaggio rispedisci tutta la cronologia: il “contesto” si accumula e l’LLM non se lo ricorda da solo.
Nel momento in cui integri un LLM in un prodotto o anche solo nel tuo workflow quotidiano, prima o poi arriva la stessa domanda: perché sto spendendo così tanto?
La risposta non è sempre dove te l’aspetti. È vero: di solito paghi per i token in input (il testo che invii) e paghi ancora di più per i token in output (il testo che il modello genera). Gli output costano spesso di più “per token” e ha senso: è lì che si crea valore.
Eppure, nelle conversazioni reali, soprattutto quelle a scambio continuo, a far esplodere la bolletta sono spesso gli input token.
Input vs output token: cosa stai pagando davvero
- Input token: tutto ciò che invii al modello in una singola richiesta (prompt, istruzioni di sistema, esempi, documenti, e… la cronologia della chat).
- Output token: la risposta nuova generata dal modello per quella richiesta.
Fin qui sembra semplice. Il punto critico è capire come cresce l’input nel tempo.
Il “trucco” che fa crescere i costi: il contesto che si accumula
Quando chatti con un LLM, non stai inviando solo “l’ultimo messaggio”. In pratica, a ogni turno, invii:
- le istruzioni iniziali (system / developer prompt, se presenti),
- i messaggi precedenti,
- il tuo nuovo messaggio.
Questo succede perché un LLM, per come viene usato via API o in molte implementazioni, è largamente stateless: non “ricorda” davvero la conversazione tra una chiamata e l’altra. Per rispondere in modo coerente, deve ricevere di nuovo tutte le informazioni rilevanti.
Risultato: il contesto cresce.
- Al primo messaggio, l’input è piccolo.
- Al decimo, l’input include già nove scambi.
- Al ventesimo, stai pagando per inviare venti scambi (più istruzioni e meta-informazioni).
Nel frattempo, l’output resta relativamente stabile: è solo l’ultima risposta.
Perché questo cambia tutto quando progetti una feature (o un prompt)
Questa dinamica ha implicazioni dirette su:
- Chat “lunghe” in app: più l’utente conversa, più ogni nuovo turno costa.
- Copilot interni: se porti dietro tutta la cronologia e anche file/incollati, il costo scala rapidamente.
- Agenti e tool: loop di ragionamento o catene di chiamate possono accumulare contesto a valanga.
In altre parole: anche se l’output costa di più per token, è l’input che tende a crescere più velocemente e a diventare il vero moltiplicatore.
Implicazione pratica: ottimizzare l’AI significa ottimizzare il contesto
Se vuoi tenere sotto controllo i costi (e spesso anche migliorare latenza e qualità), la leva principale è gestire il contesto:
- evitare di trascinarsi dietro cronologie inutili,
- ridurre ripetizioni e boilerplate nelle istruzioni,
- mantenere solo ciò che serve davvero alla risposta corrente.
Sintesi
Gli LLM generano valore con l’output, ma il costo può essere dominato dall’input quando la conversazione si allunga. Ogni nuovo messaggio non è “solo un messaggio”: è l’intera storia che continui a rispedire. Se stai costruendo esperienze conversazionali, la sostenibilità economica passa prima di tutto da una domanda: quanto contesto stai inviando a ogni turno, e quanto di quel contesto è realmente necessario?
Articolo originale: https://frontendfacile.it/blog/gli-input-token-stanno-facendo-esplodere-la-bolletta-dell-ai-piu-degli-output
