Applied AI / LLM · 691

Chemical hygiene

Андрей Карпатый продолжает серию о «гигиене» (после цифровой) и излагает свой взгляд на химическую гигиену — как уменьшить контакт с вредными веществами в быту. Он разбирает воду (обратный осмос, филь

P6: Context Rot – Hamel’s Blog - Hamel Husain

Исследовательница из Chroma Kelly Hong представила концепцию «Context Rot» — деградации производительности LLM по мере увеличения длины входного контекста. В серии экспериментов над 18 современными мо

P4: Late Interaction Models For RAG – Hamel’s Blog - Hamel Husain

В четвёртой части мини-серии по оценке и оптимизации RAG в рамках курса LLM Evals Антуан Шаффен из LightOn рассказывает о моделях позднего взаимодействия (late interaction) как альтернативе одновектор

Q: What’s your favorite eval vendor? – Hamel’s Blog - Hamel Husain

Inspect AI, An OSS Python Library For LLM Evals – Hamel’s Blog - Hamel Husain

Несколько недель назад Hamel Husain пригласил JJ Allaire — основателя RStudio (теперь Posit) — прочитать гостевую лекцию в их курсе по LLM Evals. Статья представляет собой аннотированную версию презен

P3: Optimizing Retrieval with Reasoning Models – Hamel’s Blog - Hamel Husain

В рамках курса LLM Evals Хэмел Хусейн принимал Ориона Веллера из Университета Джонса Хопкинса, который рассказал об интеграции instruction-following и reasoning напрямую в процесс поиска документов дл

P5: RAG with Multiple Representations – Hamel’s Blog - Hamel Husain

В заключительной, пятой части мини-серии курса LLM Evals Хамел Хусейн пригласил Брайана Бишофа (Bryan Bischof) и Аюша Чаурасию (Ayush Chaurasia), которые утверждают: эффективный поиск состоит не в нах

2025 Year in Review

Eugene Yan подводит итоги 2025 года: он выполнил цели по написанию шести крупных статей (на стыке RecSys и LLM) и созданию четырёх прототипов, включая AI Reading Club, который теперь доступен в прилож

Auto-grading decade-old Hacker News discussions with hindsight

The space of minds

Андрей Карпати рассуждает о том, что пространство возможных интеллектов огромно, а животный разум — лишь одна точка в нём. Он сравнивает давление отбора, формирующее животный интеллект (выживание, ест

Three Years from GPT-3 to Gemini 3

Итан Моллик тестирует новую модель Google Gemini 3 и через сам ИИ демонстрирует прогресс за три года — со времён GPT-3 и запуска ChatGPT в ноябре 2022. Если раньше ИИ мог написать абзац или стишок про

Verifiability

Андрей Карпати проводит аналогию между ИИ и новой вычислительной парадигмой, поскольку оба связаны с автоматизацией обработки цифровой информации. В прежней парадигме (Software 1.0 — написанные вручну

Giving your AI a Job Interview

Эссе Итана Молика о том, что по мере роста важности ИИ-советов нам нужно научиться лучше оценивать модели. Стандартные бенчмарки имеют серьёзные проблемы: их ответы часто попадают в обучающие данные,

Using LLM-as-a-Judge For Evaluation: A Complete Guide –

Хамел Хусейн делится опытом настройки систем оценки ИИ-продуктов, накопленным при работе с более чем 30 компаниями, и описывает технику, которую называет «Critique Shadowing» (тенью критики). Главная

Amp – Hamel’s Blog - Hamel Husain

Hamel Husain делится заметками о Amp — кодинг-агенте от ampcode.com, который выделяется среди прочих, что он пробовал за последние месяцы. Ключевая особенность — Threads: все диалоги хранятся на серве

Confronting Impossible Futures

An Opinionated Guide to Using AI Right Now

Этан Моллик публикует регулярно обновляемое руководство по выбору AI-инструментов в конце 2025 года, когда около 10% человечества пользуется AI еженедельно. Для большинства задач достаточно бесплатных

Advice for New Principal Tech ICs (i.e., Notes to Myself)

Юджин Ян собрал советы для тех, кто только что стал principal-инженером или научным сотрудником (уровень L7+), опираясь на наблюдения за ролевыми моделями в Amazon и их цитаты. Ключевая идея: работа,

Q: Can I use the same model for both the main task and evaluation? – Hamel’s Blog - Hamel Husain

Для выбора модели LLM-as-Judge обычно нормально использовать ту же модель, что и в основном пайплайне, поскольку судья выполняет другую задачу. Исследования показывают, что модели могут проявлять пред

Your AI Product Needs Evals –

Хамель Хусейн, независимый консультант по AI-продуктам и в прошлом руководитель команды CodeSearchNet (предшественника GitHub CoPilot), утверждает, что почти все неудачные LLM-продукты объединяет одна

Selecting The Right AI Evals Tool

Hamel Husain рассказывает, как выбрать инструмент для AI-оценок (evals), и объясняет, почему ни один из них не является лучшим во всех отношениях — выбор зависит от навыков команды, технического стека

Real AI Agents and Real Work

Эссе Итана Молика о том, что ИИ-агенты перешли порог реальной экономически значимой работы. Новый тест OpenAI GDPval показал, что эксперты с опытом 14 лет в среднем лишь немного обыгрывают ИИ на задач

Training an LLM-RecSys Hybrid for Steerable Recs with Semantic IDs

Юджин Ян описывает эксперимент по обучению гибрида LLM и рекомендательной системы на основе семантических ID — иерархических токенов, заменяющих хеш-идентификаторы товаров. Используя данные Amazon Rev

On Working with Wizards

Этан Моллик утверждает, что природа работы с ИИ меняется: если в его книге «Co-Intelligence» человек выступал партнёром, который правит ошибки и направляет ИИ, то теперь мы переходим от сотрудничества