Applied AI / LLM · 691

Your AI Product Needs Evals

Хамель Хусейн, независимый консультант (ранее руководивший командой CodeSearchNet, предшественника GitHub Copilot), утверждает, что главная причина провала LLM-продуктов — отсутствие надёжных систем о

Is Fine-Tuning Still Valuable?

Hamel Husain делится мнением о ценности fine-tuning на фоне растущего скептицизма в сообществе. Он считает, что многие критики работают над продуктами, где fine-tuning заведомо не нужен: инструменты д

Which AI should I use? Superpowers and the State of Play

I, Cyborg: Using Co-Intelligence

An Opinionated Guide to Which AI to Use: ChatGPT Anniversary Edition

Эта-н Моллик публикует обновлённое руководство по выбору ИИ к годовщине ChatGPT: его главный и предельно простой совет — получить доступ к GPT-4 от OpenAI и перестать пользоваться бесплатным ChatGPT н

Don't Mock Machine Learning Models In Unit Tests

Юджин Ян объясняет, почему привычные практики юнит-тестирования плохо ложатся на ML-код: в обычном софте логика пишется руками, а в ML она выучивается из данных и зашита в саму модель. Поэтому моки вн

Strategies for an Accelerating Future

Итан Моллик описывает два больших скачка в развитии больших языковых моделей, произошедших за одну неделю, и их практические последствия. Первый — память: Google Gemini 1.5 получил контекстное окно бо

Fuck You, Show Me The Prompt.

Статья Hamel Husain посвящена проблеме непрозрачности LLM-фреймворков (Guardrails, Guidance, LangChain, Instructor, DSPy), которые переписывают или конструируют промпты за пользователя, скрывая реальн

How to Generate and Use Synthetic Data for Finetuning

Юджин Ян делает обзор того, как генерировать и использовать синтетические данные для дообучения языковых моделей. Существуют два основных подхода: дистилляция знаний из более сильной модели-учителя и

Google's Gemini Advanced: Tasting Notes and Implications

Эзан Моллик делится впечатлениями (а не строгим тестом) от Gemini Advanced — мощного ИИ Google, ранее называвшегося Bard, к которому у него был ранний доступ больше месяца. Главный вывод: Gemini Advan

What Can be Done in 59 Seconds: An Opportunity (and a Crisis)

Этан Моллик описывает, как новые инструменты — Microsoft Copilot для Office (за $20 в месяц) и OpenAI GPTs с «GPT Store» и командными подписками — резко упростили и нормализовали использование ИИ, хот

The Lazy Tyranny of the Wait Calculation

Этан Моллик применяет концепцию Wait Calculation (расчёт ожидания) к ИИ: иногда выгоднее подождать, пока технология улучшится, чем браться за дело сейчас. Он приводит примеры из собственного опыта — и

Language Modeling Reading List (to Start Your Paper Club)

Eugene Yan делится списком для чтения по языковому моделированию, составленным в рамках еженедельного клуба статей. Подборка включает около 50 фундаментальных работ — от Attention Is All You Need и се

2023 Year in Review

Eugene Yan подводит итоги 2023 года: он написал 20 статей (вместо запланированных 26), активно изучал LLM — от прототипов Discord-ботов и Obsidian-копилота до тонкой настройки классификаторов галлюцин

Push Notifications: What to Push, What Not to Push, and How Often

Юджин Ян разбирает пуш-уведомления как разновидность рекомендательной системы, где в отличие от поиска и обычных рекомендаций намерение пользователя неизвестно, а форма уведомления важна не меньше сам

Reshaping the tree: rebuilding organizations for AI

Итан Моллик проводит параллель между нынешним моментом и 1855 годом, когда руководитель железной дороги New York and Erie Дэниел Маккаллум, столкнувшись с задачей управления работой на огромных рассто

Not much is changing, a lot is changing

Итан Моллик комментирует неожиданное увольнение Сэма Альтмана из OpenAI и переход его вместе с Грегом Брокманом и значительной частью команды в Microsoft. Автор подчёркивает уникальность OpenAI: компа

Almost an Agent: What GPTs can do

Ethan Mollick разбирает новую функцию OpenAI — пользовательские GPT, которые позволяют создавать и делиться структурированными промптами без навыков программирования. Он демонстрирует примеры: от напи

Out-of-Domain Finetuning to Bootstrap Hallucination Detection

Статья описывает метод улучшения детекции галлюцинаций (фактических несоответствий) в текстовых резюме с помощью дофайнтюнинга на данных из другого домена. Автор использует модель BART, дофайнтюненную

Working with AI: Two paths to prompting

Итан Моллик утверждает, что лучший способ освоить AI — просто много им пользоваться, ссылаясь на исследование BCG, где консультанты с обычным GPT-4 без специального обучения улучшили качество работы н

The Best Available Human Standard

Итан Моллик предлагает прагматичный взгляд на ИИ и вводит стандарт «Лучшего доступного человека» (Best Available Human, BAH): вопрос в том, справится ли лучший доступный ИИ с задачей лучше, чем лучший

Reflections on AI Engineer Summit 2023

Юджин Ян делится впечатлениями от первого AI Engineer Summit в Сан-Франциско, где он выступил с докладом о строительных блоках для LLM-систем. Главными болевыми точками деплоя, по данным опроса Amplif

What AI can do with a toolbox... Getting started with Code Interpreter [Now called Advanced Data Analytics]

Итан Моллик рассказывает о Code Interpreter (переименованном в Advanced Data Analytics) в ChatGPT — режиме на базе GPT-4, который позволяет загружать файлы до 100MB, писать и исполнять код на Python в

AI Engineer 2023 Keynote - Building Blocks for LLM Systems

Доклад Eugene Yan на первом AI Engineer Summit 2023 посвящён ключевым строительным блокам для систем на основе LLM: оценкам (evals), RAG, защитным ограничениям (guardrails) и сбору обратной связи. Авт