Applied AI / LLM · 691

Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge

Eugene Yan выступил судьёй на хакатоне Weights & Biases LLM-Judge Hackathon, где более 100 участников и 15 команд за два дня представили проекты: построение и валидация графов знаний из документов, оц

Something New: On OpenAI's "Strawberry" and Reasoning

Итан Моллик делится впечатлениями от новой системы рассуждений OpenAI под кодовым названием «Strawberry», выпущенной публично как модель o1-preview. В отличие от GPT-4o, она «обдумывает» задачу перед

Building the Same App Using Various Web Frameworks

Eugene Yan сравнивает четыре веб-фреймворка — FastAPI, FastHTML, Next.js и SvelteKit — построив на каждом из них одно и то же CRUD-приложение для загрузки, просмотра, редактирования и удаления данных

Post-apocalyptic education

Итан Моллик констатирует, что Homework Apocalypse уже наступил: по репрезентативному опросу, 82% студентов и 72% школьников в США используют AI для учёбы, причём 56% — для письменных заданий. Учителя

Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge)

Юджин Ян разбирает использование LLM-оценщиков (LLM-as-a-Judge) — больших языковых моделей, которые оценивают качество ответов других LLM. Опираясь на два десятка статей, он рассматривает ключевые реш

Change blindness

Этан Моллик показывает, насколько далеко продвинулся ИИ за 21 месяц с момента запуска ChatGPT в ноябре 2022. Он сравнивает результаты генерации изображений (Midjourney тогда и Flux + Runway Gen 3 сейч

On speaking to AI

Итан Моллик сравнивает два подхода к голосовому ИИ: Apple Siri AI и расширенный голосовой режим ChatGPT. Siri использует маленькую модель на 3 млрд параметров, работающую локально на устройстве ради п

An Open Course on LLMs, Led by Practitioners

Hamel Husain и Dan выпускают «Mastering LLMs» — бесплатный открытый набор воркшопов и докладов от практиков по таким темам, как evals, retrieval-augmented-generation (RAG), fine-tuning и другим. Курс

How to Interview and Hire ML/AI Engineers

Юджин Ян и Jason делятся опытом проведения собеседований и найма на ML/AI-роли, рассматривая процесс интервью как систему, которая должна быть надёжной и валидной. Из технических навыков они оценивают

AI Engineer 2024 Keynote - What We Learned from a Year of LLMs

Юджин Ян рассказывает о закрывающем кейноуте на AI Engineer World's Fair 2024, который он провёл вместе с соавторами эссе «What We've Learned From A Year of Building with LLMs». Команда из шести спике

Latent Expertise: Everyone is in R&D

Этан Моллик утверждает, что дискуссия об ИИ ошибочно сводится к крайностям — либо «хайп», либо «сверхчеловеческие машины», тогда как реальность требует конкретного анализа сильных и слабых сторон LLM.

What Apple's AI Tells Us: Experimental Models⁴

Итан Моллик разбирает релиз Apple Intelligence как иллюстрацию того, что в ИИ сейчас идёт эксперимент сразу с четырьмя типами моделей: сами ИИ-модели, модели использования, бизнес-модели и представлен

Netflix PRS 2024 - Applying LLMs to Recommendation Experiences

Юджин Ян рассказывает о своём выступлении на воркшопе Netflix по персонализации, рекомендациям и поиску 2024 года (Netflix Workshop on Personalization, Recommendation, and Search). Он поделился вызова

Prompting Fundamentals and How to Apply them Effectively

Статья описывает ключевые принципы и приёмы промптинга для эффективной работы с большими языковыми моделями. Рассматривается ментальная модель промптов как обусловливания вероятностной модели, а также

Four Singularities for Research

Итан Моллик, профессор бизнес-школы, утверждает, что академические исследования сталкиваются с четырьмя «узкими сингулярностями», вызванными ИИ — точками, после которых природа науки изменится непредс

What OpenAI did

Итан Молик разбирает запуск GPT-4o от OpenAI — модели, чьё «o» означает «omni». По его оценке это самая умная из доступных моделей, но не такой скачок, каким был GPT-4 над бесплатным GPT-3.5; настоящи

What We've Learned From A Year of Building with LLMs

Краткая служебная страница с сообщением о перенаправлении. Содержательного материала статьи на странице нет — отображается только заголовок «Redirecting…». Перевод предоставлен для единственного досту

Freeing the chatbot

Этан Моллик рассуждает о том, что эпоха чат-ботов как единственного способа взаимодействия с ИИ подходит к концу. Он тестирует четыре специализированных ИИ-устройства — Rabbit R1, умные очки Meta Ray-

Captain's log: the irreducible weirdness of prompting AIs

Итан Моллик рассказывает о запуске сайта More Useful Things с библиотекой бесплатных промптов и объясняет, почему промптинг остаётся странным и непредсказуемым. Исследование показало, что лучший спосо

Innovation through prompting

Итан Моллик рассуждает о том, как промпты для LLM становятся «программами на естественном языке», позволяя нетехническим экспертам создавать инновации в самых разных областях. В новой статье его коман

Debugging AI With Adversarial Validation

Статья описывает метод Adversarial Validation — простой способ обнаружения дрифта (внезапных изменений) в данных для AI/ML-моделей. Суть метода: два набора данных размечаются метками 0 и 1, затем обуч

What just happened, what is happening next

Итан Моллик подводит итоги нескольких месяцев развития ИИ к моменту выхода своей книги «Co-Intelligence». Лучшие оценки показывают, что способности больших языковых моделей удваиваются каждые 5–14 мес

Building an AI Coach to Help Tame My Monkey Mind

Юджин Ян рассказывает, как построил голосового AI-коуча по имени Tara, чтобы справляться с «обезьяньим умом», синдромом самозванца и гедонистической беговой дорожкой. Год он использовал ChatGPT как те

On the necessity of a sin