newsmode
search
Меню
Категории
apps Все forward_to_inbox Cold Email / Outbound gps_fixed Positioning travel_explore Customer Discovery rocket_launch Founder / YC auto_awesome Applied AI / LLM analytics SaaS Strategy trending_up Growth / Distribution build Indie / Bootstrap support_agent Conversational AI
Теги (топ-30)
AI Agents ·275 Ai Adoption ·192 Frontier Models ·163 Founder-Led Sales ·159 Conversational AI ·153 Outbound Sales ·150 Sales Automation ·144 Ai Infrastructure ·130 Go To Market ·128 Customer Experience ·125 Developer Tools ·122 Venture Funding ·122 Founder Mindset ·119 SaaS Metrics ·114 Product-Market Fit ·111 Enterprise Ai ·96 LLM Evals ·91 Career Advice ·89 Cold Email ·88 LLM Engineering ·86 Growth Strategy ·78 Saas ·75 Productivity Metrics ·74 Ai Products ·72 No Code Chatbots ·71 Ai Automation ·70 Customer Discovery ·69 Bootstrapping ·68 Content Creation ·67 Solopreneurship ·67
Источники
a16z Aaron Ross — Predictable Revenue Andrej Karpathy Andrej Karpathy — BearBlog Andrew Chen Anthropic News Botpress Blog Clay Blog Ethan Mollick — One Useful Thing Eugene Yan First Round Review Hamel Husain HubSpot Sales Blog Intercom / Fin Blog Justin Welsh Kyle Poyar — Growth Unhinged Latent Space Lavender Blog Lenny's Newsletter Not Boring Paul Graham Essays Rob Walling SaaStr Simon Willison Stratechery Teresa Torres — Product Talk The Bootstrapped Founder Tomasz Tunguz Voiceflow Blog Working Theorys
Прогресс перевода 1953/2270 · 86%
inboxВсе translateПереведено bookmarkХочу прочесть thumb_upПонравилось radio_button_uncheckedНепрочитанные check_circleПрочитал

Applied AI / LLM · 45

rss_feed Hamel Husain translateRU

The Revenge of the Data Scientist – Hamel’s Blog - Hamel Husain

Hamel Husain доказывает, что эпоха data scientist не закончилась: хотя LLM-API позволяют командам интегрировать AI без помощи дата-сайентистов и MLE, основная работа — постановка экспериментов, отладк

Data Science LLM Evals Production Ml
1638 сл.
rss_feed Hamel Husain translateRU

The Revenge of the Data Scientist

Хэмел Хусейн утверждает, что эпоха data scientist не закончилась: с приходом LLM и foundation-model API инженеры стали интегрировать ИИ без них, но основная работа — постановка экспериментов, отладка

Data Science LLM Evals Production Ml
1638 сл.
rss_feed Anthropic News translateRU

Demystifying evals for AI agents

Статья Anthropic описывает методологию создания оценок (evals) для AI-агентов — систем, которые работают в несколько шагов, вызывают инструменты и модифицируют состояние среды. Рассматриваются три тип

AI Agents LLM Evals Production Ml
5722 сл.
rss_feed Ethan Mollick — One Useful Thing translateRU

Real AI Agents and Real Work

Эссе Итана Молика о том, что ИИ-агенты перешли порог реальной экономически значимой работы. Новый тест OpenAI GDPval показал, что эксперты с опытом 14 лет в среднем лишь немного обыгрывают ИИ на задач

Ai Adoption AI Agents Production Ml
1461 сл.
rss_feed Hamel Husain translateRU

Q: How do I surface problematic traces for review beyond user feedback? – Hamel’s Blog - Hamel Husain

Статья из FAQ по оценке LLM описывает три подхода к поиску проблемных трейсов помимо пользовательской обратной связи. Первый — случайная выборка трейсов с последующим стресс-тестированием. Второй — ис

LLM Evals Production Ml
166 сл.
rss_feed Hamel Husain translateRU

Q: How do I approach evaluation when my system handles diverse user queries? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает на вопрос о том, как подходить к оценке системы, обрабатывающей разнородные пользовательские запросы — от простых вопросов о политике возврата до сложных аналитических сравнений.

Ai Products LLM Evals Production Ml
218 сл.
rss_feed Hamel Husain translateRU

Q: How can I efficiently sample production traces for review? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает на вопрос о том, как эффективно отбирать продакшн-трейсы для ревью, ведь случайный просмотр неэффективен — большинство трейсов не содержат ошибок. Он предлагает несколько стратег

Data Annotation LLM Evals Production Ml
209 сл.
rss_feed Hamel Husain translateRU

Q: How often should I re-run error analysis on my production system? – Hamel’s Blog - Hamel Husain

Эррор-анализ продакшн-системы стоит повторять при значимых изменениях: новых фичах, обновлениях промптов, смене модели или крупных багфиксах. Полезный ориентир — просматривать минимум 100+ свежих трей

Ai Products LLM Evals Production Ml
152 сл.
rss_feed Hamel Husain translateRU

Q: How are evaluations used differently in CI/CD vs. monitoring production? – Hamel’s Blog - Hamel Husain

Главное различие между оценкой в CI и в продакшене — это данные, на которых проводится тестирование. Тестовые наборы для CI небольшие (часто 100+ примеров) и создаются целенаправленно: они покрывают о

Deployment Pipeline LLM Evals Production Ml
186 сл.
rss_feed Hamel Husain translateRU

Estimating vRAM – Hamel’s Blog - Hamel Husain

Хэмел Хусейн делится практическими формулами для прикидочной оценки объёма vRAM, необходимого для обучения и инференса LLM. Он отталкивается от калькулятора Зака Мюллера и дополняет его поправками на

LLM Engineering Ml Engineering Production Ml
539 сл.
rss_feed Hamel Husain translateRU

TorchServe – Hamel’s Blog - Hamel Husain

Хэмел Хусейн делится впечатлениями от экспериментов с TorchServe — инструментом для развёртывания моделей PyTorch. Среди плюсов: автоматическая батчёвка запросов, версионирование моделей, встроенное л

Deployment Pipeline Ml Engineering Production Ml
516 сл.
rss_feed Hamel Husain translateRU

FastAPI – Hamel’s Blog - Hamel Husain

Hamel Husain рассматривает FastAPI как веб-фреймворк на Python для развёртывания прототипов ML-моделей. По его впечатлениям, для небольших моделей (менее 200 МБ) FastAPI отлично подходит и оказывается

Developer Tools Ml Engineering Production Ml
1256 сл.
rss_feed Hamel Husain translateRU

Basics – Hamel’s Blog - Hamel Husain

Заметки Hamel Husain о развёртывании моделей через TensorFlow Serving на примере трансформера для классификации отзывов IMDB. Автор обучает простую модель (657 758 параметров, точность ~86% на валидац

Deployment Pipeline Ml Engineering Production Ml
2097 сл.
rss_feed Hamel Husain translateRU

Serving Your Own Model – Hamel’s Blog - Hamel Husain

Заметка Hamel Husain о том, как развернуть собственные модели в TorchServe на примере двух моделей с HuggingFace: distilgpt2 для генерации текста и stable-diffusion-2 для генерации изображений. Автор

Deployment Pipeline Developer Tools Production Ml
1524 сл.
rss_feed Eugene Yan translateRU

39 Lessons on Building ML Systems, Scaling, Execution, and More

Юджин Ян делится 39 уроками с ML-конференций 2024 года, охватывающими построение эффективных ML-систем, масштабирование, исполнение и работу с пользователями. Среди ключевых идей: важность правильно в

LLM Evals Ml Engineering Production Ml
1953 сл.
rss_feed Eugene Yan translateRU

Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge)

Юджин Ян разбирает использование LLM-оценщиков (LLM-as-a-Judge) — больших языковых моделей, которые оценивают качество ответов других LLM. Опираясь на два десятка статей, он рассматривает ключевые реш

LLM Engineering LLM Evals Production Ml
9822 сл.
rss_feed Eugene Yan translateRU

Netflix PRS 2024 - Applying LLMs to Recommendation Experiences

Юджин Ян рассказывает о своём выступлении на воркшопе Netflix по персонализации, рекомендациям и поиску 2024 года (Netflix Workshop on Personalization, Recommendation, and Search). Он поделился вызова

LLM Engineering Production Ml Recommendation Systems
293 сл.
rss_feed Hamel Husain translateRU

Debugging AI With Adversarial Validation

Статья описывает метод Adversarial Validation — простой способ обнаружения дрифта (внезапных изменений) в данных для AI/ML-моделей. Суть метода: два набора данных размечаются метками 0 и 1, затем обуч

Data Science LLM Evals Production Ml
640 сл.
rss_feed Eugene Yan translateRU

Don't Mock Machine Learning Models In Unit Tests

Юджин Ян объясняет, почему привычные практики юнит-тестирования плохо ложатся на ML-код: в обычном софте логика пишется руками, а в ML она выучивается из данных и зашита в саму модель. Поэтому моки вн

Developer Tools Ml Engineering Production Ml
1218 сл.
rss_feed Eugene Yan translateRU

Push Notifications: What to Push, What Not to Push, and How Often

Юджин Ян разбирает пуш-уведомления как разновидность рекомендательной системы, где в отличие от поиска и обычных рекомендаций намерение пользователя неизвестно, а форма уведомления важна не меньше сам

Machine Learning Production Ml Recommendation Systems
3631 сл.
rss_feed Eugene Yan translateRU

How to Match LLM Patterns to Problems

Статья Eugene Yan — продолжение его обзора паттернов работы с LLM. Автор классифицирует модели на внешние (сторонние API) и внутренние (self-hosted), а паттерны — по степени зависимости от данных. Дал

LLM Engineering LLM Evals Production Ml
1195 сл.
rss_feed Eugene Yan translateRU

Patterns for Building LLM-based Systems & Products

Юджин Ян (Eugene Yan) разбирает семь ключевых паттернов для интеграции LLM в системы и продукты, расположенных по осям «улучшение качества vs. снижение стоимости/риска» и «ближе к данным vs. ближе к п

LLM Engineering Production Ml RAG
13163 сл.