newsmode
search
Меню
Категории
apps Все forward_to_inbox Cold Email / Outbound gps_fixed Positioning travel_explore Customer Discovery rocket_launch Founder / YC auto_awesome Applied AI / LLM analytics SaaS Strategy trending_up Growth / Distribution build Indie / Bootstrap support_agent Conversational AI
Теги (топ-30)
AI Agents ·275 Ai Adoption ·192 Frontier Models ·163 Founder-Led Sales ·159 Conversational AI ·153 Outbound Sales ·150 Sales Automation ·144 Ai Infrastructure ·130 Go To Market ·128 Customer Experience ·125 Developer Tools ·122 Venture Funding ·122 Founder Mindset ·119 SaaS Metrics ·114 Product-Market Fit ·111 Enterprise Ai ·96 LLM Evals ·91 Career Advice ·89 Cold Email ·88 LLM Engineering ·86 Growth Strategy ·78 Saas ·75 Productivity Metrics ·74 Ai Products ·72 No Code Chatbots ·71 Ai Automation ·70 Customer Discovery ·69 Bootstrapping ·68 Content Creation ·67 Solopreneurship ·67
Источники
a16z Aaron Ross — Predictable Revenue Andrej Karpathy Andrej Karpathy — BearBlog Andrew Chen Anthropic News Botpress Blog Clay Blog Ethan Mollick — One Useful Thing Eugene Yan First Round Review Hamel Husain HubSpot Sales Blog Intercom / Fin Blog Justin Welsh Kyle Poyar — Growth Unhinged Latent Space Lavender Blog Lenny's Newsletter Not Boring Paul Graham Essays Rob Walling SaaStr Simon Willison Stratechery Teresa Torres — Product Talk The Bootstrapped Founder Tomasz Tunguz Voiceflow Blog Working Theorys
Прогресс перевода 1953/2270 · 86%
inboxВсе translateПереведено bookmarkХочу прочесть thumb_upПонравилось radio_button_uncheckedНепрочитанные check_circleПрочитал

#LLM Evals · 90

rss_feed Hamel Husain translateRU

Stop Saying RAG Is Dead

Хэмел Хусейн — инженер по машинному обучению с более чем 20-летним опытом, работавший в Airbnb и GitHub, включая раннее исследование LLM, использованное OpenAI для понимания кода. Сейчас он возвращает

Ai Products LLM Evals Personal Branding
149 сл.
rss_feed Eugene Yan translateRU

Evaluating Long-Context Question & Answer Systems

Юджин Ян разбирает, как оценивать Q&A-системы на длинных контекстах — от технической документации до романов и многодокументных сценариев. Ключевые метрики: faithfulness (ответ опирается только на ист

LLM Evals Long Context RAG
5737 сл.
rss_feed Eugene Yan translateRU

An LLM-as-Judge Won't Save The Product—Fixing Your Process Will

Юджин Ян утверждает, что добавление ещё одного инструмента, метрики или LLM-as-judge не спасёт AI-продукт — нужно наладить сам процесс. Продуктовые evals — это не статичные артефакты, а практика, опир

Ai Products Error Analysis LLM Evals
974 сл.
rss_feed Hamel Husain translateRU

A Field Guide to Rapidly Improving AI Products

Хамель Хусейн обобщает опыт работы с 30+ компаниями и показывает, что успех AI-продуктов определяют не модные инструменты, а дисциплина измерения и итераций. Главная ошибка команд — пропускать error a

Ai Products Experimentation LLM Evals
6229 сл.
rss_feed Eugene Yan translateRU

39 Lessons on Building ML Systems, Scaling, Execution, and More

Юджин Ян делится 39 уроками с ML-конференций 2024 года, охватывающими построение эффективных ML-систем, масштабирование, исполнение и работу с пользователями. Среди ключевых идей: важность правильно в

LLM Evals Ml Engineering Production Ml
1953 сл.
rss_feed Hamel Husain translateRU

Using LLM-as-a-Judge For Evaluation: A Complete Guide

Статья представляет пошаговое руководство по созданию системы оценки AI-продуктов с использованием LLM в роли судьи — методику «Critique Shadowing». Автор, консультировавший более 30 компаний, описыва

LLM Engineering LLM Evals Prompt Engineering
6270 сл.
rss_feed Eugene Yan translateRU

AlignEval: Building an App to Make Evals Easy, Fun, and Automated

Юджин Ян представляет AlignEval — приложение, которое упрощает и автоматизирует создание LLM-оценщиков (LLM-evaluators) и сводит процесс к четырём шагам: загрузить CSV с входами и выходами, разметить

Error Analysis LLM Evals Prototyping
2811 сл.
rss_feed Eugene Yan translateRU

Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge

Eugene Yan выступил судьёй на хакатоне Weights & Biases LLM-Judge Hackathon, где более 100 участников и 15 команд за два дня представили проекты: построение и валидация графов знаний из документов, оц

Ai Products LLM Evals
331 сл.
rss_feed Eugene Yan translateRU

Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge)

Юджин Ян разбирает использование LLM-оценщиков (LLM-as-a-Judge) — больших языковых моделей, которые оценивают качество ответов других LLM. Опираясь на два десятка статей, он рассматривает ключевые реш

LLM Engineering LLM Evals Production Ml
9822 сл.
rss_feed Hamel Husain translateRU

Debugging AI With Adversarial Validation

Статья описывает метод Adversarial Validation — простой способ обнаружения дрифта (внезапных изменений) в данных для AI/ML-моделей. Суть метода: два набора данных размечаются метками 0 и 1, затем обуч

Data Science LLM Evals Production Ml
640 сл.
rss_feed Hamel Husain translateRU

Your AI Product Needs Evals

Хамель Хусейн, независимый консультант (ранее руководивший командой CodeSearchNet, предшественника GitHub Copilot), утверждает, что главная причина провала LLM-продуктов — отсутствие надёжных систем о

Ai Products LLM Engineering LLM Evals
3831 сл.
rss_feed Eugene Yan translateRU

Out-of-Domain Finetuning to Bootstrap Hallucination Detection

Статья описывает метод улучшения детекции галлюцинаций (фактических несоответствий) в текстовых резюме с помощью дофайнтюнинга на данных из другого домена. Автор использует модель BART, дофайнтюненную

Hallucination Detection LLM Evals Machine Learning
2265 сл.
rss_feed Eugene Yan translateRU

Reflections on AI Engineer Summit 2023

Юджин Ян делится впечатлениями от первого AI Engineer Summit в Сан-Франциско, где он выступил с докладом о строительных блоках для LLM-систем. Главными болевыми точками деплоя, по данным опроса Amplif

LLM Engineering LLM Evals RAG
1467 сл.
rss_feed Eugene Yan translateRU

AI Engineer 2023 Keynote - Building Blocks for LLM Systems

Доклад Eugene Yan на первом AI Engineer Summit 2023 посвящён ключевым строительным блокам для систем на основе LLM: оценкам (evals), RAG, защитным ограничениям (guardrails) и сбору обратной связи. Авт

LLM Engineering LLM Evals RAG
3533 сл.
rss_feed Eugene Yan translateRU

How to Match LLM Patterns to Problems

Статья Eugene Yan — продолжение его обзора паттернов работы с LLM. Автор классифицирует модели на внешние (сторонние API) и внутренние (self-hosted), а паттерны — по степени зависимости от данных. Дал

LLM Engineering LLM Evals Production Ml
1195 сл.
rss_feed Eugene Yan translateRU

LLM-powered Biographies

Вдохновлённый твитом Линуса, Юджин Ян (Eugene Yan) из любопытства попросил несколько LLM написать его биографию, чтобы понять, на чём они обучены и как работают. Он сравнивает результаты gpt-4, gpt-3.

Frontier Models Hallucination Detection LLM Evals
2194 сл.
rss_feed Andrej Karpathy translateRU

What I learned from competing against a ConvNet on ImageNet

Андрей Карпати рассказывает, как он лично соревновался с свёрточной нейросетью GoogLeNet на задаче классификации ImageNet (ILSVRC 2014). GoogLeNet показал ошибку Hit@5 в 6.7% на тестовом наборе из 1.2

Deep Learning LLM Evals Machine Learning
2819 сл.