newsmode
search
Меню
Категории
Теги (топ-30)
Источники
Прогресс перевода 1953/2270 · 86%

#Ai Products · 33

rss_feed Simon Willison translateRU

datasette-agent-charts 0.1a2

Саймон Уиллисон выпустил версию 0.1a2 плагина datasette-agent-charts. В обновлении под отрендеренными графиками появились кнопки «View SQL query», позволяющие посмотреть SQL-запрос, лежащий в основе в

Ai Products Developer Tools LLM Engineering
85 сл.
rss_feed Anthropic News translateRU

An update on recent Claude Code quality reports

Anthropic объясняет, почему пользователи Claude Code в марте–апреле жаловались на снижение качества, и подтверждает, что API и слой инференса не пострадали. Виноваты три отдельных изменения: 4 марта д

Ai Products Developer Tools LLM Engineering
1676 сл.
rss_feed Anthropic News translateRU

Introducing Claude Design by Anthropic Labs

Anthropic запускает Claude Design — продукт Anthropic Labs для совместной работы с Claude над визуальными материалами: дизайнами, прототипами, слайдами и одностраничниками. Продукт работает на Claude

Ai Creative Tools Ai Products Frontier Models
946 сл.
rss_feed Anthropic News translateRU

Claude for Financial Services

Anthropic представляет Claude for Financial Services — комплексное решение для финансового анализа, объединяющее рыночные данные и внутренние источники (Databricks, Snowflake) в одном интерфейсе. Моде

Ai Products Enterprise Ai Strategic Partnerships
1095 сл.
rss_feed Hamel Husain translateRU

Using LLM-as-a-Judge For Evaluation: A Complete Guide –

Хамел Хусейн делится опытом настройки систем оценки ИИ-продуктов, накопленным при работе с более чем 30 компаниями, и описывает технику, которую называет «Critique Shadowing» (тенью критики). Главная

Ai Products LLM Evals Prompt Engineering
6270 сл.
rss_feed Hamel Husain translateRU

Your AI Product Needs Evals –

Хамель Хусейн, независимый консультант по AI-продуктам и в прошлом руководитель команды CodeSearchNet (предшественника GitHub CoPilot), утверждает, что почти все неудачные LLM-продукты объединяет одна

Ai Products LLM Engineering LLM Evals
3831 сл.
rss_feed Hamel Husain translateRU

Selecting The Right AI Evals Tool

Hamel Husain рассказывает, как выбрать инструмент для AI-оценок (evals), и объясняет, почему ни один из них не является лучшим во всех отношениях — выбор зависит от навыков команды, технического стека

Ai Products Developer Tools LLM Evals
1316 сл.
rss_feed Hamel Husain translateRU

A Field Guide to Rapidly Improving AI Products – Hamel’s Blog - Hamel Husain

Hamel Husain, консультант с опытом работы с более чем 30 компаниями, описывает ключевые практики быстрого улучшения AI-продуктов. Главная ошибка команд — фокус на инструментах и фреймворках вместо ана

Ai Products Experimentation LLM Evals
6229 сл.
rss_feed Hamel Husain translateRU

Q: How do I justify evaluation time and budget to management? – Hamel’s Blog - Hamel Husain

Статья из FAQ по оценке LLM-приложений от Hamel Husain объясняет, как обосновать перед руководством время и бюджет на evaluation. Рекомендуется вести журнал всех обнаруженных ошибок, документировать и

Ai Products Engineering Culture LLM Evals
115 сл.
rss_feed Hamel Husain translateRU

Q: How do I approach evaluation when my system handles diverse user queries? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает на вопрос о том, как подходить к оценке системы, обрабатывающей разнородные пользовательские запросы — от простых вопросов о политике возврата до сложных аналитических сравнений.

Ai Products LLM Evals Production Ml
218 сл.
rss_feed Hamel Husain translateRU

Q: How often should I re-run error analysis on my production system? – Hamel’s Blog - Hamel Husain

Эррор-анализ продакшн-системы стоит повторять при значимых изменениях: новых фичах, обновлениях промптов, смене модели или крупных багфиксах. Полезный ориентир — просматривать минимум 100+ свежих трей

Ai Products LLM Evals Production Ml
152 сл.
rss_feed Hamel Husain translateRU

Q: Should I practice eval-driven development? – Hamel’s Blog - Hamel Husain

Hamel Husain отвечает на вопрос, стоит ли практиковать eval-driven development — подход, при котором оценочные метрики для LLM пишутся до реализации фич. Он считает, что в большинстве случаев это не р

Ai Products LLM Evals Prompt Engineering
170 сл.
rss_feed Hamel Husain translateRU

Q: How should I approach evaluating my RAG system? – Hamel’s Blog - Hamel Husain

Статья описывает подход к оценке RAG-систем, разделяя их на два компонента: поиск (retrieval) и генерацию. Для поиска рекомендуется использовать классические метрики информационного поиска — Recall@k,

Ai Products LLM Evals RAG
450 сл.
rss_feed Hamel Husain translateRU

Q: Why do you recommend binary (pass/fail) evaluations instead of 1-5 ratings (Likert scales)? – Hamel’s Blog - Hamel Husain

Хамел Хусейн объясняет, почему он рекомендует бинарные (pass/fail) оценки вместо шкал Лайкерта (рейтинги 1-5) при оценке LLM. Инженеры считают, что шкалы 1-5 дают больше информации и позволяют отслежи

Ai Products Error Analysis LLM Evals
216 сл.
rss_feed Hamel Husain translateRU

Evals: Doing Error Analysis Before Writing Tests – Hamel’s Blog - Hamel Husain

Хамел Хусейн разбирает на 20-минутной консультации по LLM-evals случай Али, который оценивает SMS-приложение для неоплачиваемых сиделок, ухаживающих за пожилыми родителями или детьми с инвалидностью.

Ai Products Error Analysis LLM Evals
534 сл.
rss_feed Hamel Husain translateRU

Stop Saying RAG Is Dead

Хэмел Хусейн — инженер по машинному обучению с более чем 20-летним опытом, работавший в Airbnb и GitHub, включая раннее исследование LLM, использованное OpenAI для понимания кода. Сейчас он возвращает

Ai Products LLM Evals Personal Branding
149 сл.
rss_feed Andrej Karpathy — BearBlog translateRU

Vibe coding MenuGen

Андрей Карпати рассказывает о своём опыте «вайб-кодинга» — создания веб-приложения MenuGen с нуля без навыков веб-разработки, используя только Cursor и Claude. MenuGen позволяет сфотографировать меню

Ai Products Solopreneurship Vibe Coding
2490 сл.
rss_feed Eugene Yan translateRU

An LLM-as-Judge Won't Save The Product—Fixing Your Process Will

Юджин Ян утверждает, что добавление ещё одного инструмента, метрики или LLM-as-judge не спасёт AI-продукт — нужно наладить сам процесс. Продуктовые evals — это не статичные артефакты, а практика, опир

Ai Products Error Analysis LLM Evals
974 сл.
rss_feed Ethan Mollick — One Useful Thing translateRU

No elephants: Breakthroughs in image generation

За две недели сначала Google, а затем OpenAI выпустили мультимодальную генерацию изображений — это качественный скачок. Раньше LLM не создавала картинку сама, а отправляла текстовый промпт во внешний,

Ai Creative Tools Ai Products Generative Models
1472 сл.
rss_feed Hamel Husain translateRU

A Field Guide to Rapidly Improving AI Products

Хамель Хусейн обобщает опыт работы с 30+ компаниями и показывает, что успех AI-продуктов определяют не модные инструменты, а дисциплина измерения и итераций. Главная ошибка команд — пропускать error a

Ai Products Experimentation LLM Evals
6229 сл.
rss_feed Eugene Yan translateRU

Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge

Eugene Yan выступил судьёй на хакатоне Weights & Biases LLM-Judge Hackathon, где более 100 участников и 15 команд за два дня представили проекты: построение и валидация графов знаний из документов, оц

Ai Products LLM Evals
331 сл.
rss_feed Ethan Mollick — One Useful Thing translateRU

What Apple's AI Tells Us: Experimental Models⁴

Итан Моллик разбирает релиз Apple Intelligence как иллюстрацию того, что в ИИ сейчас идёт эксперимент сразу с четырьмя типами моделей: сами ИИ-модели, модели использования, бизнес-модели и представлен

Ai Adoption Ai Products Frontier Models
1908 сл.