Microsoft's new MAI models
2 июня 2026 года Microsoft анонсировала две новые текстовые LLM: MAI-Thinking-1 (рассуждающая модель на 35 млрд параметров, доступная «избранным ранним партнёрам») и MAI-Code-1-Flash (5 млрд параметро
2 июня 2026 года Microsoft анонсировала две новые текстовые LLM: MAI-Thinking-1 (рассуждающая модель на 35 млрд параметров, доступная «избранным ранним партнёрам») и MAI-Code-1-Flash (5 млрд параметро
Саймон Уиллисон выпустил версию 0.1a2 плагина datasette-agent-charts. В обновлении под отрендеренными графиками появились кнопки «View SQL query», позволяющие посмотреть SQL-запрос, лежащий в основе в
На Google I/O 2026 представлена модель Gemini 3.5 Flash, которая сразу вышла в общий доступ и используется в Google Search (AI Mode), Gemini app, Google Antigravity и Gemini Enterprise. Модель поддерж
Anthropic объясняет, почему пользователи Claude Code в марте–апреле жаловались на снижение качества, и подтверждает, что API и слой инференса не пострадали. Виноваты три отдельных изменения: 4 марта д
Anthropic запускает Claude Design — продукт Anthropic Labs для совместной работы с Claude над визуальными материалами: дизайнами, прототипами, слайдами и одностраничниками. Продукт работает на Claude
Anthropic представляет Claude for Financial Services — комплексное решение для финансового анализа, объединяющее рыночные данные и внутренние источники (Databricks, Snowflake) в одном интерфейсе. Моде
Хамел Хусейн делится опытом настройки систем оценки ИИ-продуктов, накопленным при работе с более чем 30 компаниями, и описывает технику, которую называет «Critique Shadowing» (тенью критики). Главная
Хамель Хусейн, независимый консультант по AI-продуктам и в прошлом руководитель команды CodeSearchNet (предшественника GitHub CoPilot), утверждает, что почти все неудачные LLM-продукты объединяет одна
Hamel Husain рассказывает, как выбрать инструмент для AI-оценок (evals), и объясняет, почему ни один из них не является лучшим во всех отношениях — выбор зависит от навыков команды, технического стека
Hamel Husain, консультант с опытом работы с более чем 30 компаниями, описывает ключевые практики быстрого улучшения AI-продуктов. Главная ошибка команд — фокус на инструментах и фреймворках вместо ана
Статья из FAQ по оценке LLM-приложений от Hamel Husain объясняет, как обосновать перед руководством время и бюджет на evaluation. Рекомендуется вести журнал всех обнаруженных ошибок, документировать и
Хамел Хусейн отвечает на вопрос о том, как подходить к оценке системы, обрабатывающей разнородные пользовательские запросы — от простых вопросов о политике возврата до сложных аналитических сравнений.
Эррор-анализ продакшн-системы стоит повторять при значимых изменениях: новых фичах, обновлениях промптов, смене модели или крупных багфиксах. Полезный ориентир — просматривать минимум 100+ свежих трей
Hamel Husain отвечает на вопрос, стоит ли практиковать eval-driven development — подход, при котором оценочные метрики для LLM пишутся до реализации фич. Он считает, что в большинстве случаев это не р
Статья описывает подход к оценке RAG-систем, разделяя их на два компонента: поиск (retrieval) и генерацию. Для поиска рекомендуется использовать классические метрики информационного поиска — Recall@k,
Хамел Хусейн объясняет, почему он рекомендует бинарные (pass/fail) оценки вместо шкал Лайкерта (рейтинги 1-5) при оценке LLM. Инженеры считают, что шкалы 1-5 дают больше информации и позволяют отслежи
Хамел Хусейн разбирает на 20-минутной консультации по LLM-evals случай Али, который оценивает SMS-приложение для неоплачиваемых сиделок, ухаживающих за пожилыми родителями или детьми с инвалидностью.
Хэмел Хусейн — инженер по машинному обучению с более чем 20-летним опытом, работавший в Airbnb и GitHub, включая раннее исследование LLM, использованное OpenAI для понимания кода. Сейчас он возвращает
Андрей Карпати рассказывает о своём опыте «вайб-кодинга» — создания веб-приложения MenuGen с нуля без навыков веб-разработки, используя только Cursor и Claude. MenuGen позволяет сфотографировать меню
Юджин Ян утверждает, что добавление ещё одного инструмента, метрики или LLM-as-judge не спасёт AI-продукт — нужно наладить сам процесс. Продуктовые evals — это не статичные артефакты, а практика, опир
За две недели сначала Google, а затем OpenAI выпустили мультимодальную генерацию изображений — это качественный скачок. Раньше LLM не создавала картинку сама, а отправляла текстовый промпт во внешний,
Хамель Хусейн обобщает опыт работы с 30+ компаниями и показывает, что успех AI-продуктов определяют не модные инструменты, а дисциплина измерения и итераций. Главная ошибка команд — пропускать error a
Eugene Yan выступил судьёй на хакатоне Weights & Biases LLM-Judge Hackathon, где более 100 участников и 15 команд за два дня представили проекты: построение и валидация графов знаний из документов, оц
Итан Моллик разбирает релиз Apple Intelligence как иллюстрацию того, что в ИИ сейчас идёт эксперимент сразу с четырьмя типами моделей: сами ИИ-модели, модели использования, бизнес-модели и представлен