Dua angka efisiensi, dua konteks berbeda
Keduanya bukan jaminan untuk setiap prompt atau deployment.
Artificial Analysis Index
average output tokens per task
28K
3.5 Flash
23K
3.6 Flash
sekitar 17% lebih rendah
DeepSWE v1.1
agent-loop output tokens per task
276K
3.5 Flash
97K
3.6 Flash
sekitar 65% lebih rendah
Pertanyaan produksi: apakah success rate tetap naik setelah token, tool, retry, latency, dan grounding dihitung bersama?