OMSCS CS7641 (Machine Learning) Review and Tips
Юджин Ян (Ziyou Yan) делится отзывом о курсе CS7641 «Machine Learning» программы OMSCS Технологического института Джорджии, который он прошёл, параллельно работая в графике 9-9-6 в Ханчжоу при интеграции с Alibaba. Курс читают Charles Isbell и Michael Littman; он охватывает supervised и unsupervised learning, рандомизированную оптимизацию и обучение с подкреплением, делая упор на анализ эффективности алгоритмов, а не на их написание с нуля. Структура: 50% оценки — четыре трудоёмких задания (по 40-60 часов каждое), плюс промежуточный и финальный экзамены по 25% (медианы 51 и 59). Около 40% студентов отсеиваются, но из оставшихся примерно 60% получают A. Автор отмечает, что обрёл большую строгость в анализе алгоритмов, планирует применить это в работе в Lazada и в следующем семестре взять курс по reinforcement learning.
Обзор и советы по курсу OMSCS CS7641 (Machine Learning)
[ omscs learning machinelearning python ] · чтение на 4 мин
Вам также может быть интересен OMSCS FAQ, который я написал после выпуска. Или посмотрите все материалы, связанные с OMSCS, здесь: omscs.
Последние несколько месяцев у меня не было времени писать, потому что я был в Ханчжоу, занимаясь сотрудничеством и интеграцией с Alibaba. Напряжённый график 9-9-6 (с 9 утра до 9 вечера, 6 дней в неделю) и отнимающий много времени курс OMSCS по машинному обучению (CS7641) почти не оставляли личного времени для письма.
К счастью, CS7641 закончился, а рождественские каникулы дают передышку, чтобы поделиться мыслями о нём.
Зачем брать этот курс?
Зачем проходить ещё один курс по машинному обучению? Что он добавит к моему опыту применения машинного обучения к реальным задачам?
Честно говоря, я страдаю от синдрома самозванца. Большая часть моих знаний и навыков в машинном обучении получена самостоятельно, на основе превосходных MOOC, включая курсы Andrew Ng и Trevor Hastie и Rob Tibshirani. CS7641 дал возможность вернуться к основам с другой точки зрения (с большим акцентом на анализ параметров и эффективности алгоритмов).
Влияние параметра C на разделяющую границу SVM
Кроме того, CS7641 охватывает менее знакомые аспекты машинного обучения, такие как рандомизированная оптимизация и обучение с подкреплением. Эти две темы рассматривались на вводном, обзорном уровне и давали достаточную глубину, чтобы понять, как работают эти алгоритмы, как эффективно их применять и анализировать результаты.
Эффективность алгоритмов рандомизированной оптимизации на задаче коммивояжёра (рандомизированное восхождение к вершине, имитация отжига, генетический алгоритм, MIMIC)
Каков курс на практике?
Еженедельно проходит 2-3 часа лекций, в основном состоящих из того, как Charles Isbell и Michael Littman по очереди «обучают» друг друга различным темам машинного обучения. Лекции перемежаются редкими шутками и игрой слов, что делает их забавными (если вы такой же гик, как и я).
Есть четыре задания, охватывающие: (i) supervised learning, (ii) unsupervised learning и снижение размерности, (iii) рандомизированную оптимизацию и (iv) обучение с подкреплением. Сокурсники жаловались на недостаточную ясность требований к заданиям. Те, у кого не было опыта в машинном обучении, чувствовали, что их бросили на глубину, и не имели ни малейшего понятия, с чего начать. Ожидаемо, средние оценки за задания были около 40-60, хотя с каждым заданием они немного улучшались. Задания составляли 50% общей оценки. Будьте готовы потратить 40-60 часов на каждое задание.
Что касается экзаменов, есть промежуточный и (некумулятивный) финальный, каждый по 25% общей оценки. Они были сложными и требовали глубокого и интуитивного понимания материала, чтобы хорошо сдать. Медиана за промежуточный экзамен составила 51, а за финальный — 59. На промежуточный экзамен у нас было 90 минут (чего едва хватало), а на финальный — 180 минут (и меньше вопросов); большинство людей закончили финальный экзамен раньше времени.
За предыдущие семестры около 40% студентов отсеялись. Из оставшихся около 60% получили A, а большинство остальных — B. Если вы планируете брать CS7641, продержитесь до промежуточного экзамена, и вы должны получить проходной балл. Задания составляют 50% общей оценки — начинайте их выполнять рано, чтобы хорошо справиться. Они требуют больше исследований, анализа, визуализаций и письменной работы, чем обычная статья. Задания были сосредоточены больше на демонстрации понимания и глубоком анализе эффективности алгоритмов, а не на написании алгоритмов с нуля.
Чему я научился?
В отношении supervised и unsupervised learning я получил более глубокое фундаментальное понимание того, как работает каждый тип алгоритма. Это включало понимание того, почему каждый из них лучше работает на разных наборах данных, почему некоторые меньше переобучаются, почему некоторым требуется больше данных и так далее. Большая часть обучения пришла из визуализации эффективности алгоритмов при разном количестве данных, параметрах, типах задач и так далее. Я обрёл большую строгость в анализе эффективности алгоритмов и научился вдумчиво применять разные алгоритмы к разным задачам.
CS7641 также дал хорошее знакомство с методами рандомизированной оптимизации и обучения с подкреплением. Они были для меня новыми, и курс дал достаточную глубину, чтобы решить, стоит ли вкладывать в них дополнительное время. Лично мне понравилось обучение с подкреплением, его временная природа и то, как оно обучается на новых точках данных в фазе «исследования» (в противовес «эксплуатации»).
Эффективность алгоритмов обучения с подкреплением в простом мире-сетке (grid world)
Что дальше?
С возросшей строгостью в анализе эффективности алгоритмов я намерен применить её в своей работе в Lazada, чтобы проводить больше анализа и обретать более глубокую интуицию в отношении результатов алгоритмов. Я также поделюсь полученными знаниями, чтобы помочь команде улучшить понимание и анализ эффективности алгоритмов.
Кроме того, я намерен закрепить (reinforce) свои знания по обучению с подкреплением (ха-ха) и взять курс по reinforcement learning (CS7641, также от Charles и Michael) в следующем семестре. Я слышал о нём много хороших отзывов — не могу дождаться!
Если этот материал оказался полезным, пожалуйста, цитируйте эту заметку так:
Yan, Ziyou. (Dec 2017). OMSCS CS7641 (Machine Learning) Review and Tips. eugeneyan.com. https://eugeneyan.com/writing/omscs-cs7641-machine-learning/.
или
@article{yan2017machine, title = {OMSCS CS7641 (Machine Learning) Review and Tips}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2017}, month = {Dec}, url = {https://eugeneyan.com/writing/omscs-cs7641-machine-learning/} }
Присоединяйтесь к 11 800+ читателям, получающим новости о машинном обучении, RecSys, LLM и инженерии.