How fast is 10 tokens per second really?
Саймон Уиллисон делится небольшим HTML-приложением Майка Веермана, которое наглядно демонстрирует скорость генерации токенов LLM в диапазоне от 5 до 800 токенов в секунду. Инструмент полезен, когда видишь рекламу модели вроде «30 токенов/секунду» и хочешь понять, как это выглядит на практике. Исходный код опубликован на GitHub. Запись датирована 20 мая 2026 года и относится к разделу ссылок блога. Также упоминаются недавние статьи автора: про Gemini 3.5 Flash, краткий обзор последних шести месяцев в LLM и заметки о сделке между xAI и Anthropic по дата-центру.
20th May 2026 - Link Blog
How fast is 10 tokens per second really? (via) Neat little HTML app by Mike Veerman (source code here) which simulates LLM token output speeds from 5/second to 800/second.
Useful if you see a model advertised as "30 tokens/second" and want to get a feel for what that actually looks like.
Recent articles
This is a link post by Simon Willison, posted on 20th May 2026.
Monthly briefing
Sponsor me for $10/month and get a curated email digest of the month's most important LLM developments.
Pay me to send you less!