newsmode
search
Меню
Категории
apps Все forward_to_inbox Cold Email / Outbound gps_fixed Positioning travel_explore Customer Discovery rocket_launch Founder / YC auto_awesome Applied AI / LLM analytics SaaS Strategy trending_up Growth / Distribution build Indie / Bootstrap support_agent Conversational AI
Теги (топ-30)
AI Agents ·275 Ai Adoption ·192 Frontier Models ·163 Founder-Led Sales ·159 Conversational AI ·153 Outbound Sales ·150 Sales Automation ·144 Ai Infrastructure ·130 Go To Market ·128 Customer Experience ·125 Developer Tools ·122 Venture Funding ·122 Founder Mindset ·119 SaaS Metrics ·114 Product-Market Fit ·111 Enterprise Ai ·96 LLM Evals ·91 Career Advice ·89 Cold Email ·88 LLM Engineering ·86 Growth Strategy ·78 Saas ·75 Productivity Metrics ·74 Ai Products ·72 No Code Chatbots ·71 Ai Automation ·70 Customer Discovery ·69 Bootstrapping ·68 Content Creation ·67 Solopreneurship ·67
Источники
a16z Aaron Ross — Predictable Revenue Andrej Karpathy Andrej Karpathy — BearBlog Andrew Chen Anthropic News Botpress Blog Clay Blog Ethan Mollick — One Useful Thing Eugene Yan First Round Review Hamel Husain HubSpot Sales Blog Intercom / Fin Blog Justin Welsh Kyle Poyar — Growth Unhinged Latent Space Lavender Blog Lenny's Newsletter Not Boring Paul Graham Essays Rob Walling SaaStr Simon Willison Stratechery Teresa Torres — Product Talk The Bootstrapped Founder Tomasz Tunguz Voiceflow Blog Working Theorys
Прогресс перевода 1953/2270 · 86%
inboxВсе translateПереведено bookmarkХочу прочесть thumb_upПонравилось radio_button_uncheckedНепрочитанные check_circleПрочитал

#LLM Evals · 82

rss_feed Latent Space translateRU

[AINews] OpenAI GPT-next disproves 80 year old Erdős planar unit distance problem for under $1000

OpenAI сообщила, что её модель общего назначения (предположительно GPT 5.6) опровергла 80-летнюю гипотезу Эрдёша о единичных расстояниях на плоскости, потратив менее 32 часов и менее $1000. Результат,

AI Agents Frontier Models LLM Evals
2085 сл.
rss_feed Hamel Husain translateRU

LLM Evals: Everything You Need to Know – Hamel’s Blog - Hamel Husain

Hamel Husain и Shreya Shankar собрали FAQ по оценке (evals) LLM-приложений на основе вопросов от 700+ инженеров и продакт-менеджеров. Центральная идея — анализ ошибок (error analysis) важнее любой инф

LLM Engineering LLM Evals RAG
10259 сл.
rss_feed Hamel Husain translateRU

Q: What gaps in eval tooling should I be prepared to fill myself? – Hamel’s Blog - Hamel Husain

Хамель Хусейн перечисляет четыре области, в которых существующие инструменты оценки LLM-приложений недостаточны и которые командам, скорее всего, придётся достраивать самостоятельно. Первая — анализ о

Ai Infrastructure Developer Tools LLM Evals
450 сл.
rss_feed Latent Space translateRU

[AINews] Agents for Everything Else: Codex for Knowledge Work, Claude for Creative Work

Спокойный новостной день AINews посвящён двум крупным апдейтам: OpenAI расширила Codex за пределы программирования через лендинг «Codex for Work» с динамическим UI, ускоренным на 42% Computer Use, ком

AI Agents Frontier Models LLM Evals
1692 сл.
rss_feed Anthropic News translateRU

Evaluating Claude’s bioinformatics research capabilities with BioMysteryBench

Anthropic представила BioMysteryBench — бенчмарк биоинформатики из 99 задач, составленных экспертами на основе реальных «грязных» данных секвенирования ДНК/РНК (WGS, scRNA-seq, ChIP-seq, метагеномика

Ai Research Bioinformatics LLM Evals
3074 сл.
rss_feed Hamel Husain translateRU

Stop Saying RAG Is Dead – Hamel’s Blog - Hamel Husain

Хамель Хусейн (Hamel Husain) вместе с Ben Clavié выпустили открытую серию из 7 частей о том, почему RAG не умер и каким будет его будущее. Упрощённый подход 2023 года — закинуть документы в векторную

Context Engineering LLM Evals RAG
408 сл.
rss_feed Hamel Husain translateRU

Q: Why is “error analysis” so important in LLM evals, and how is it performed? – Hamel’s Blog - Hamel Husain

Hamel Husain объясняет, почему «анализ ошибок» (error analysis) — самая важная деятельность в оценке LLM: именно он подсказывает, какие eval-метрики вообще писать, и помогает выявить характерные для в

Ai Research Error Analysis LLM Evals
422 сл.
rss_feed Hamel Husain translateRU

P1: I don’t use RAG, I just retrieve documents – Hamel’s Blog - Hamel Husain

В рамках курса LLM Evals Хамел Хусейн пригласил исследователя поиска Бенжамина Клавье (Benjamin Clavié), создателя инструментов RAGatouille и rerankers, чтобы открыть мини-серию из пяти частей об оцен

LLM Evals RAG Vector Search
1209 сл.
rss_feed Anthropic News translateRU

Quantifying infrastructure noise in agentic coding evals

Anthropic исследовала, как конфигурация инфраструктуры влияет на результаты агентных бенчмарков программирования — SWE-bench и Terminal-Bench 2.0. Выяснилось, что разница между самой щедрой и самой ст

Agentic Engineering Ai Infrastructure LLM Evals
1779 сл.
rss_feed Ethan Mollick — One Useful Thing translateRU

Sign of the future: GPT-5.5

Ethan Mollick получил ранний доступ к GPT-5.5 и считает эту модель значимым шагом вперёд: она демонстрирует, что быстрое улучшение ИИ продолжается. В тесте на генерацию 3D-симуляции портового города G

Ai Creative Tools Frontier Models LLM Evals
1523 сл.
rss_feed Hamel Husain translateRU

The Revenge of the Data Scientist – Hamel’s Blog - Hamel Husain

Hamel Husain доказывает, что эпоха data scientist не закончилась: хотя LLM-API позволяют командам интегрировать AI без помощи дата-сайентистов и MLE, основная работа — постановка экспериментов, отладк

Data Science LLM Evals Production Ml
1638 сл.
rss_feed Hamel Husain translateRU

The Revenge of the Data Scientist

Хэмел Хусейн утверждает, что эпоха data scientist не закончилась: с приходом LLM и foundation-model API инженеры стали интегрировать ИИ без них, но основная работа — постановка экспериментов, отладка

Data Science LLM Evals Production Ml
1638 сл.
rss_feed Anthropic News translateRU

Eval awareness in Claude Opus 4.6’s BrowseComp performance

Anthropic протестировала Claude Opus 4.6 на бенчмарке BrowseComp в многоагентной конфигурации и обнаружила 11 случаев загрязнения данных среди 1266 задач: в 9 модель находила утёкшие ответы в публичны

AI Agents Ai Safety LLM Evals
2065 сл.
rss_feed Anthropic News translateRU

Demystifying evals for AI agents

Статья Anthropic описывает методологию создания оценок (evals) для AI-агентов — систем, которые работают в несколько шагов, вызывают инструменты и модифицируют состояние среды. Рассматриваются три тип

AI Agents LLM Evals Production Ml
5722 сл.
rss_feed Hamel Husain translateRU

Evals Skills for Coding Agents – Hamel’s Blog - Hamel Husain

Hamel Husain опубликовал evals-skills — набор навыков (skills) для AI-агентов кодирования, помогающих проводить продуктовые эвалюации. Навыки основаны на типичных ошибках, выявленных при работе с боле

Agentic Engineering Context Engineering LLM Evals
479 сл.
rss_feed Latent Space translateRU

METR’s Joel Becker on exponential Time Horizon Evals, Threat Models, and the Limits of AI Productivity

В подкасте Latent Space впервые выступает Joel Becker из организации METR, известной своим нашумевшим графиком временных горизонтов ИИ-агентов. Обсуждаются нюансы создания бенчмарков и экстраполяции р

Ai Safety LLM Evals Productivity Metrics
396 сл.
rss_feed Latent Space translateRU

[LIVE] Anthropic Distillation & How Models Cheat (SWE-Bench Dead) | Nathan Lambert & Sebastian Raschka

Латентный выпуск SAIL Live #6 с участием Nathan Lambert и Sebastian Raschka, который Swyx публикует для платных подписчиков Latent Space после присоединения к SAIL. В эпизоде обсуждаются дистилляция м

Ai Research Frontier Models LLM Evals
73 сл.
rss_feed Latent Space translateRU

⚡️The End of SWE-Bench Verified — Mia Glaese & Olivia Watkins, OpenAI Frontier Evals & Human Data

OpenAI официально прекращает использовать SWE-Bench Verified как ключевой бенчмарк для оценки кодинг-агентов. Mia Glaese (VP of Research) и Olivia Watkins из команды Frontier Evals объясняют решение:

Ai Safety Frontier Models LLM Evals
6238 сл.
rss_feed Latent Space translateRU

[AINews] Claude Sonnet 4.6: clean upgrade of 4.5, mostly better with some caveats

Anthropic выпустила Claude Sonnet 4.6 — апгрейд Sonnet 4.5 с улучшениями в кодинге, computer use, длинном контексте, агентном планировании и дизайне, плюс окно контекста 1M токенов в бете. Модель пока

AI Agents Frontier Models LLM Evals
1799 сл.
rss_feed Anthropic News translateRU

Protecting the wellbeing of our users

Anthropic описывает меры, которыми команда Safeguards защищает благополучие пользователей Claude в чувствительных разговорах. Основные направления — корректная реакция на темы суицида и самоповреждени

Ai Safety Frontier Models LLM Evals
2110 сл.
rss_feed Hamel Husain translateRU

LLM Evals: Everything You Need to Know

Статья представляет собой исчерпывающий FAQ по оценке (evals) LLM-приложений, составленный Hamel Husain и Shreya на основе вопросов от 700+ инженеров и продакт-менеджеров. Центральная идея — анализ ош

Data Annotation LLM Evals RAG
10259 сл.
rss_feed Hamel Husain translateRU

How to Process Documents at Scale with LLMs – Hamel’s Blog - Hamel Husain

Хамел Хусейн пригласил Шрею Шанкар, AI-исследовательницу из UC Berkeley, в рамках курса LLM Evals, чтобы рассказать, как обрабатывать документы в больших масштабах с помощью LLM. Её работа находится н

LLM Evals Pdf Parsing Semantic Data Processing
2979 сл.