Applied AI / LLM · 691

ML Serving – Hamel’s Blog - Hamel Husain

Статья Hamel Husain посвящена обзору инструментов и подходов к serving (развёртыванию) ML-моделей. Автор разбирает inference-серверы (Torch Serve, TFServe, KServe, Nvidia Triton), отмечая Nvidia Trito

TorchServe – Hamel’s Blog - Hamel Husain

Хэмел Хусейн делится впечатлениями от экспериментов с TorchServe — инструментом для развёртывания моделей PyTorch. Среди плюсов: автоматическая батчёвка запросов, версионирование моделей, встроенное л

Browser requests to code – Hamel’s Blog - Hamel Husain

Заметка Hamel Husain описывает приём веб-скрапинга: вместо парсинга HTML можно превратить сетевые запросы браузера в готовый код. Автор узнал этот трюк из доклада Zachary Blackwood на NormConf 2022. Н

Transcribe & Diarize Videos – Hamel’s Blog - Hamel Husain

Статья описывает процесс транскрибирования видео с разделением по спикерам (диаризацией). Автор объясняет, что OpenAI Whisper не поддерживает диаризацию, и предлагает использовать связку yt-dlp для ск

LangChain DocumentLoaders – Hamel’s Blog - Hamel Husain

Hamel Husain рассказывает о недооценённой возможности библиотеки LangChain — DocumentLoaders, которые позволяют получать текстовые данные из любого источника, что полезно даже без LLM (например, для с

Max Inference Engine – Hamel’s Blog - Hamel Husain

Llama-3 Func Calling – Hamel’s Blog - Hamel Husain

Hamel Husain показывает, как использовать вызов функций (function calling) с моделью Llama-3 70B Instruct через инференс-API Replicate. В заметке приводится вспомогательный код для парсинга ответа с т

Iterative Prompt Development – Hamel’s Blog - Hamel Husain

Заметка Hamel Husain демонстрирует итеративный подход к разработке промптов на примере генерации маркетингового описания офисного кресла на основе технического фактологического листа. Автор показывает

Inferring – Hamel’s Blog - Hamel Husain

Заметка показывает, как извлекать информацию из текстов с помощью LLM на примере отзыва о лампе и новостной статьи. Приведены промпты для определения тональности (positive/negative), списка эмоций, на

Expanding – Hamel’s Blog - Hamel Husain

Статья из курса Hamel Husain по промпт-инжинирингу посвящена технике «расширения» (Expanding) — генерации персонализированных писем службы поддержки на основе отзывов клиентов. Показан пример использо

FastAPI – Hamel’s Blog - Hamel Husain

Hamel Husain рассматривает FastAPI как веб-фреймворк на Python для развёртывания прототипов ML-моделей. По его впечатлениям, для небольших моделей (менее 200 МБ) FastAPI отлично подходит и оказывается

Basics – Hamel’s Blog - Hamel Husain

Заметки Hamel Husain о развёртывании моделей через TensorFlow Serving на примере трансформера для классификации отзывов IMDB. Автор обучает простую модель (657 758 параметров, точность ~86% на валидац

Serving Your Own Model – Hamel’s Blog - Hamel Husain

Заметка Hamel Husain о том, как развернуть собственные модели в TorchServe на примере двух моделей с HuggingFace: distilgpt2 для генерации текста и stable-diffusion-2 для генерации изображений. Автор

Stop Saying RAG Is Dead

Хэмел Хусейн — инженер по машинному обучению с более чем 20-летним опытом, работавший в Airbnb и GitHub, включая раннее исследование LLM, использованное OpenAI для понимания кода. Сейчас он возвращает

Against "Brain Damage"

Итан Моллик возражает против популярного страха, что ИИ «повреждает мозг». Нашумевшая работа MIT Media Lab «Your Brain on ChatGPT» на деле скромнее заголовков: студенты, писавшие эссе с ChatGPT, меньш

Using AI Right Now: A Quick Guide

Итан Молик обновляет своё руководство по выбору ИИ: теперь важна не столько сама модель, сколько лучшая система в целом. Для серьёзной работы он рекомендует три сервиса — Claude от Anthropic, Gemini о

Evaluating Long-Context Question & Answer Systems

Юджин Ян разбирает, как оценивать Q&A-системы на длинных контекстах — от технической документации до романов и многодокументных сценариев. Ключевые метрики: faithfulness (ответ опирается только на ист

The recent history of AI in 32 otters

Этан Моллик показывает трёхлетний прогресс ИИ через один и тот же промпт «выдра в самолёте с wifi». Диффузионные модели (например, Midjourney) прошли путь от расплывшегося меха в начале 2022 года до о

Making AI Work: Leadership, Lab, and Crowd

Этан Моллик утверждает, что компании внедряют ИИ с неполной информацией: ИИ повышает производительность отдельных сотрудников (по опросам, в Дании пользователи считают, что ИИ вдвое сокращает время на

Exceptional Leadership: Some Qualities, Behaviors, and Styles

Юджин Ян выделяет три ключевых качества исключительного лидера: видение (способность предвидеть не только то, что изменится, но и то, что останется неизменным, как у Стива Джобса), исполнение (превращ

Personality and Persuasion

Этан Молик разбирает, как обновление GPT-4o сделало модель чрезмерно льстивой и почему OpenAI пришлось откатывать изменения: лаборатория переусердствовала с реакцией на пользовательские лайки. На прим

Vibe coding MenuGen

Андрей Карпати рассказывает о своём опыте «вайб-кодинга» — создания веб-приложения MenuGen с нуля без навыков веб-разработки, используя только Cursor и Claude. MenuGen позволяет сфотографировать меню

An LLM-as-Judge Won't Save The Product—Fixing Your Process Will

Юджин Ян утверждает, что добавление ещё одного инструмента, метрики или LLM-as-judge не спасёт AI-продукт — нужно наладить сам процесс. Продуктовые evals — это не статичные артефакты, а практика, опир

On Jagged AGI: o3, Gemini 2.5, and everything after

Итан Моллик размышляет о том, что выход новых моделей o3 от OpenAI и Gemini 2.5 Pro от Google вновь поднял вопрос об AGI, которому до сих пор нет четкого определения. Экономист Тайлер Коуэн объявил, ч