Lagi iseng experiment kecil2an
Stress Test gpt-oss-20b di single GPU, concurrent 20-40 session user, prompt 22rb token, 28 tools, bersamaan, ini use case voice agent.
H100 80GB ($3.29/h)
~1.5s (157 tok/s)
RTX Pro 6000 Blackwell 96GB ($1.35/h)
~1.6s (156 tok/s)
A100 40GB ($1.99/h)
~2.4s (119 tok/s)
menarikanya RTX Pro 6000 hampir nyamain perfoma H100, tp harganya cuma 40%-nya
Tp ini tunning belum maksimal aku rasa..
klo ada yg pernah coba GPU lain yg lebih oke, share dong... 👇