LLM-powered Biographies
Вдохновлённый твитом Линуса, Юджин Ян (Eugene Yan) из любопытства попросил несколько LLM написать его биографию, чтобы понять, на чём они обучены и как работают. Он сравнивает результаты gpt-4, gpt-3.5-turbo, text-davinci-003, davinci, claude-v1.2 и cohere command-xlarge. Лучше всех показали себя gpt-3.5/4: они уловили общую суть, но ошиблись в деталях (образование, карьера, работодатели вроде Google или Shopify). Остальные модели выдавали грубые ошибки и галлюцинации — claude-v1.2 ошибочно назвал его сооснователем Anthropic, а cohere описал совершенно другого человека (тревел-фотографа и дрон-пилота). На этих примерах видно, насколько каждое поколение моделей превосходит предыдущее и как одни модели запоминают и воспроизводят данные сильнее других; для интуиции автор приводит аналогию «размытого JPEG» из The New Yorker.
Биографии, написанные LLM
Вдохновившись твитом Линуса и из любопытства, я попросил несколько LLM написать мою биографию. Это показалось забавным способом узнать, на чём обучены эти большие языковые модели (LLM) и как они справляются. Вот результаты от gpt-4, claude-v1.2, cohere-xlarge и др. Они неидеальны, но видно, насколько каждая модель лучше предыдущей. Любопытно также, что некоторые модели запоминают и выдают заученное сильнее других.
Промпт: Пожалуйста, напиши мне подробную биографию Eugene Yan, известного под ником @eugeneyan.
В целом лучше всех справились gpt3.5/4 — они уловили суть, хотя и ошиблись в деталях. Аналогия «размытого JPEG» может помочь лучше понять, почему так происходит.
Примечание: эти LLM не имеют доступа к интернету, так что всё основано на их обучающих данных.
gpt-4 (2023-03-20)
Чуть лучше, чем GPT-3.5, но всё ещё много фактических ошибок.
Образование: моя степень бакалавра — по психологии и организационному поведению (Singapore Management University), а магистра — по информатике (Georgia Tech). Карьера: верны только первые 2 должности. Остальное неверно.
Eugene Yan — специалист по данным, писатель и спикер, известный своими работами в области прикладного машинного обучения и data science. Он активен в соцсетях, особенно в Twitter, где выступает под ником @eugeneyan.
Образование: Eugene имеет степень бакалавра по психологии Национального университета Сингапура и степень магистра по социальной и организационной психологии Лондонской школы экономики и политических наук. Он также получил степень Master of Science по бизнес-аналитике в Stern School of Business при Нью-Йоркском университете.
Карьера: у Eugene обширный опыт работы в data science и машинном обучении в самых разных отраслях. Среди заметных должностей:
Data Science Lead в Lazada (Alibaba Group) — Eugene руководил командой специалистов по данным, разрабатывавшей и внедрявшей модели машинного обучения, с упором на поиск и рекомендательные системы для e-commerce-платформы. Applied Scientist в Amazon — в роли прикладного исследователя Eugene работал над проектами машинного обучения, связанными с поиском и рекомендательными системами Amazon, улучшая опыт покупок для клиентов. Head of Data Science в Shopee — Eugene отвечал за руководство командой data science в Shopee, ведущей e-commerce-платформе Юго-Восточной Азии и Тайваня. Он работал над системами поиска, рекомендаций и персонализации для улучшения пользовательского опыта. Machine Learning Engineer в ThoughtWorks — Eugene работал консультантом, помогая клиентам создавать и внедрять модели машинного обучения для решения бизнес-задач. В настоящее время Eugene работает Senior Data Scientist в Shopify, где занимается решениями на основе данных для улучшения пользовательского опыта на платформе.
Писательство и выступления: Eugene — плодовитый автор и спикер в сообществе data science и машинного обучения. Он делится знаниями и идеями в своём личном блоге (https://eugeneyan.com/) и выступал на различных конференциях и мероприятиях. Его тексты охватывают такие темы, как машинное обучение, data science, карьерные советы и продуктивность.
Участие в сообществе: Eugene увлечён развитием сильного сообщества data science. Он организатор и наставник в Data Science Global Impact Challenge — конкурсе, который поощряет участников использовать методы data science для решения насущных мировых проблем. Он также участвует в инициативе AI Singapore, цель которой — продвижение ИИ и data science в Сингапуре.
Подводя итог: Eugene Yan — опытный специалист по данным и практик машинного обучения, известный своими работами в области поиска и рекомендательных систем. Благодаря разным должностям, писательству, выступлениям и наставничеству он внёс значительный вклад в область data science и продолжает делиться знаниями с сообществом.
gpt-3.5-turbo-0301 (2023-03-19)
Общая тема, похоже, верна, хотя многие детали переврали, в том числе:
Предприниматель: я не предприниматель (если только она не предсказывает будущее?!). Образование: моя степень бакалавра — по психологии и организационному поведению (Singapore Management University), а магистра — по информатике (Georgia Tech). Карьера: я не основывал стартап в 2016-м, но примерно тогда присоединился к одному (Lazada). Он в итоге действительно был куплен Alibaba. Никогда не работал в Google. Остальное: лестно, хотя несколько преувеличено.
Eugene Yan, также известный как @eugeneyan, — специалист по данным, писатель и предприниматель из Сингапура. Он широко известен своим вкладом в сообщество data science, включая популярный блог eugeneyan.com, где он делится мыслями о data science, машинном обучении и личностном росте.
Eugene имеет степень бакалавра по электротехнике и электронике Национального университета Сингапура, а также степень магистра по управленческой науке и инженерии Стэнфордского университета. После завершения учёбы он работал в нескольких технологических компаниях, в том числе в Google, где занимал должность инженера-программиста.
В 2016 году Eugene основал собственный стартап Axon, который должен был помогать компаниям использовать возможности машинного обучения для улучшения их операций. Стартап в итоге был куплен более крупной компанией, но Eugene продолжил работать над проектами машинного обучения и начал делиться своими знаниями и опытом через блог и другие каналы.
Eugene известен умением раскладывать сложные концепции data science и машинного обучения на простые и понятные объяснения. Он много писал на такие темы, как глубокое обучение, обработка естественного языка и обучение с подкреплением, а также о личных и профессиональных навыках, необходимых для успеха в области data science.
Помимо писательства, Eugene также востребованный спикер и преподаватель. Он проводил доклады и воркшопы по data science и машинному обучению на конференциях и мероприятиях по всему миру, включая Strata Data Conference и Global AI Conference.
Eugene глубоко привержен идее обучения на протяжении всей жизни и личностного роста. Он сторонник философии Growth Mindset, которая подчёркивает убеждение, что интеллект и способности можно развивать упорным трудом и усердием. Он призывает других принять эту философию и постоянно искать новые вызовы и возможности для обучения и роста.
В целом Eugene Yan — глубоко уважаемая фигура в сообществе data science, известная своей технической экспертизой, умением ясно доносить сложные концепции и преданностью делу помощи другим в достижении успеха в этой области.
text-davinci-003 (2023-03-19)
Столько ошибок, что я даже не знаю, с чего начать.
Eugene Yan — канадский предприниматель, инвестор и публичный спикер. Он основатель и CEO венчурной фирмы YAN Capital и сооснователь венчурной студии YAN Ventures. Он также сооснователь стартапа YAN Technologies, поддержанного венчурным капиталом.
Eugene родился в Торонто, Канада, и вырос в Ист-Энде города. Он учился в Университете Торонто, где получил степень бакалавра наук по информатике. После выпуска он работал инженером-программистом в ряде технологических компаний, включая Microsoft, Oracle и IBM.
В 2011 году Eugene основал YAN Capital — венчурную фирму, инвестирующую в технологические компании на ранних стадиях. С тех пор фирма вложилась в более чем 50 компаний, среди которых Uber, Slack и Dropbox.
В 2014 году Eugene стал сооснователем YAN Ventures — венчурной студии, помогающей предпринимателям строить и запускать собственные компании. Студия запустила более 20 компаний, среди которых Instacart, ClassPass и Thumbtack.
В 2016 году Eugene стал сооснователем YAN Technologies — стартапа при поддержке венчурного капитала, разрабатывающего ПО для сферы здравоохранения. Компания
davinci (2021-03-19)
Жутковато. Вероятно, надо поработать над промптом. Но этот негативный пример также показывает, насколько эти LLM улучшились.
Я хотел бы узнать о его происхождении, его образовании, его опыте работы, его интересах, его семье, его хобби, его друзьях, его любимых книгах, его любимых фильмах, его любимой музыке, его любимых видах спорта, его любимых командах, его любимых ресторанах, его любимых местах отдыха, его любимых сайтах, его любимых цитатах, его любимых поговорках, его любимых изречениях, его любимых шутках, его любимых анекдотах, его любимых воспоминаниях, его любимых мечтах, его любимых стремлениях, его любимых целях, его любимых достижениях, его любимых неудачах, его любимых разочарованиях, его любимых огорчениях, его любимых страхах, его любимых радостях, его любимых печалях, его любимых увлечениях, его любимых ненавистях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его
claude-v1.2 (2023-03-20)
Похоже, у неё мало данных. Все детали, кроме ника в твиттере, неверны.
К сожалению, у меня недостаточно информации, чтобы написать полную, подробную биографию Eugene Yan с высокой точностью. Мне известна лишь следующая общая информация:
• Eugene Yan — сооснователь Anthropic, PBC, стартапа в области безопасности ИИ, базирующегося в Сан-Франциско.
• До Anthropic Yan был главой инженерии (Head of Engineering) в Drive.ai с 2016 по 2019 год.
• Yan получил степень бакалавра в Университете Южной Калифорнии в 2016 году.
• Он широко публикуется по теме безопасности ИИ и входит в руководящий комитет AI Alignment Forum.
• Yan активен в Twitter под ником @eugeneyan и пишет об ИИ, инженерии и советах по продуктивности.
Помимо этих скудных и общих фактов, у меня нет доступа к гораздо большей информации об истории жизни Eugene Yan, личных деталях или развитии карьеры. Прошу прощения, что не могу предоставить более полную биографию с высокой фактической точностью. Дайте знать, если есть какая-то другая информация, которую я могу поискать.
co:here command-xlarge-nightly (2023-03-20)
Думаю, это Eugene Yang или совершенно другой человек.
Eugene Yan — американский тревел-фотограф китайского происхождения, контент-креатор и пилот дронов. Он наиболее известен своей пейзажной и аэрофотосъёмкой малоизвестных мест. Через визуальный сторителлинг Yan стремится побуждать людей исследовать мир и заботиться о природе.
Yan родился и вырос в районе залива Сан-Франциско, где у него развилась любовь к природе и активному отдыху на свежем воздухе. Его всегда завораживала красота природного мира и многообразие культур по всему миру.
Yan начал карьеру в технологической индустрии, но в итоге ушёл, чтобы заняться своей страстью к фотографии и путешествиям. С тех пор он побывал более чем в 50 странах и сфотографировал одни из самых отдалённых и захватывающих мест на земле.
Yan также искусный пилот дронов, и его аэрофотосъёмка отмечалась в различных изданиях. Он твёрдо верит в силу съёмки с дронов — она способна запечатлеть красоту мира под новым углом и рассказывать истории уникальным и впечатляющим образом.
Помимо фотографии, Yan также контент-креатор и сотрудничал с такими брендами, как Sony, DJI и Adobe. Он также преподаватель фотографии, проводил воркшопы и доклады по пейзажной и дрон-фотографии.
Сейчас Yan живёт в районе залива Сан-Франциско с женой и двумя детьми. Он увлечён тем, чтобы делиться своей любовью к фотографии и путешествиям с другими, и всегда ищет новые приключения и интересные места для исследования.
Eugene Yan — американский тревел-фотограф китайского происхождения, контент-креатор и пилот дронов. Он наиболее известен своей пейзажной и аэрофотосъёмкой малоизвестных мест. Через визуальный сторителлинг Yan стремится побуждать людей исследовать мир и заботиться о природе.
Yan родился и вырос в районе залива Сан-Франциско, где у него развилась любовь к природе и активному отдыху на свежем воздухе. Его всегда завораживала красота природного мира и многообразие культур по всему миру.
Yan начал карьеру в технологической индустрии, но в итоге ушёл, чтобы заняться своей страстью к фотографии и путешествиям. С тех пор он побывал более чем в 50 странах и сфотографировал одни из самых отдалённых и захватывающих мест на земле.
Yan также искусный пилот дронов, и его аэрофотосъёмка отмечалась в различных изданиях. Он твёрдо верит в силу съёмки с дронов — она способна запечатлеть красоту мира под новым углом и рассказывать истории уникальным и впечатляющим образом.
Помимо фотографии, Yan также контент-креатор и сотрудничал с такими брендами, как Sony, DJI и Adobe. Он также преподаватель фотографии, проводил воркшопы и доклады по пейзажной и дрон-фотографии.
Сейчас Yan живёт в районе залива Сан-Франциско с женой и двумя детьми. Он увлечён тем, чтобы делиться своей любовью к фотографии и путешествиям с другими, и всегда ищет новые приключения и интересные места для исследования.
Если этот материал оказался полезным, пожалуйста, цитируйте его так:
Yan, Ziyou. (Mar 2023). LLM-powered Biographies. eugeneyan.com. https://eugeneyan.com/writing/llm-bio/.
или
@article{yan2023biography, title = {LLM-powered Biographies}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2023}, month = {Mar}, url = {https://eugeneyan.com/writing/llm-bio/} }
Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, RecSys, LLM и инженерии.