LLM-powered Biographies
Вдохновлённый твитом Линуса, Юджин Ян (Eugene Yan) из любопытства попросил несколько LLM написать его биографию, чтобы понять, на чём они обучены и как работают. Он сравнивает результаты gpt-4, gpt-3.5-turbo, text-davinci-003, davinci, claude-v1.2 и cohere command-xlarge. Лучше всех показали себя gpt-3.5/4: они уловили общую суть, но ошиблись в деталях (образование, карьера, работодатели вроде Google или Shopify). Остальные модели выдавали грубые ошибки и галлюцинации — claude-v1.2 ошибочно назвал его сооснователем Anthropic, а cohere описал совершенно другого человека (тревел-фотографа и дрон-пилота). На этих примерах видно, насколько каждое поколение моделей превосходит предыдущее и как одни модели запоминают и воспроизводят данные сильнее других; для интуиции автор приводит аналогию «размытого JPEG» из The New Yorker.
LLM-powered Biographies
Биографии, написанные LLM
Inspired by Linus’ tweet and out of curiosity, I asked some LLMs to write a biography of me. It seemed like a fun way to learn what these large language models (LLMs) are trained on and how they perform. Here are the results from gpt-4, claude-v1.2, cohere-xlarge, etc. While they’re not perfect, how each model improves over the previous is apparent. Also, it’s intriguing how some models memorize and regurgitate more than others.
Вдохновившись твитом Линуса и из любопытства, я попросил несколько LLM написать мою биографию. Это показалось забавным способом узнать, на чём обучены эти большие языковые модели (LLM) и как они справляются. Вот результаты от gpt-4, claude-v1.2, cohere-xlarge и др. Они неидеальны, но видно, насколько каждая модель лучше предыдущей. Любопытно также, что некоторые модели запоминают и выдают заученное сильнее других.
Prompt: Please write me a detailed biography of Eugene Yan, who goes by @eugeneyan.
Промпт: Пожалуйста, напиши мне подробную биографию Eugene Yan, известного под ником @eugeneyan.
Overall, gpt3.5/4 performed the best—they got the gist right though erred on the details. The Blurry JPEG analogy may be helpful in gaining more intuition on why this happens.
В целом лучше всех справились gpt3.5/4 — они уловили суть, хотя и ошиблись в деталях. Аналогия «размытого JPEG» может помочь лучше понять, почему так происходит.
Note: These LLMs can’t access the internet so this is based on their training data.
Примечание: эти LLM не имеют доступа к интернету, так что всё основано на их обучающих данных.
gpt-4 (2023-03-20)
gpt-4 (2023-03-20)
Slightly better than GPT-3.5 though still many factual errors.
Чуть лучше, чем GPT-3.5, но всё ещё много фактических ошибок.
Образование: моя степень бакалавра — по психологии и организационному поведению (Singapore Management University), а магистра — по информатике (Georgia Tech). Карьера: верны только первые 2 должности. Остальное неверно.
Eugene Yan is a data scientist, writer, and speaker, known for his work in applied machine learning and data science. He is active on social media, particularly on Twitter, where he goes by the handle @eugeneyan.
Eugene Yan — специалист по данным, писатель и спикер, известный своими работами в области прикладного машинного обучения и data science. Он активен в соцсетях, особенно в Twitter, где выступает под ником @eugeneyan.
Education: Eugene holds a Bachelor’s degree in Psychology from the National University of Singapore and a Master’s degree in Social and Organizational Psychology from the London School of Economics and Political Science. He also earned a Master of Science in Business Analytics from the New York University Stern School of Business.
Образование: Eugene имеет степень бакалавра по психологии Национального университета Сингапура и степень магистра по социальной и организационной психологии Лондонской школы экономики и политических наук. Он также получил степень Master of Science по бизнес-аналитике в Stern School of Business при Нью-Йоркском университете.
Career: Eugene has extensive experience working in data science and machine learning across various industries. Some notable roles include:
Карьера: у Eugene обширный опыт работы в data science и машинном обучении в самых разных отраслях. Среди заметных должностей:
Data Science Lead at Lazada (Alibaba Group) - Eugene led a team of data scientists to develop and implement machine learning models, focusing on search and recommendation systems for the e-commerce platform.
Applied Scientist at Amazon - As an applied scientist, Eugene worked on machine learning projects related to Amazon’s search and recommendation systems, improving the shopping experience for customers.
Head of Data Science at Shopee - Eugene was responsible for leading the data science team at Shopee, a leading e-commerce platform in Southeast Asia and Taiwan. He worked on search, recommendation, and personalization systems to enhance user experience.
Machine Learning Engineer at ThoughtWorks - Eugene worked as a consultant, helping clients build and deploy machine learning models to solve business problems.
Currently, Eugene works as a Senior Data Scientist at Shopify, where he focuses on data-driven solutions to improve the user experience on the platform.
Data Science Lead в Lazada (Alibaba Group) — Eugene руководил командой специалистов по данным, разрабатывавшей и внедрявшей модели машинного обучения, с упором на поиск и рекомендательные системы для e-commerce-платформы. Applied Scientist в Amazon — в роли прикладного исследователя Eugene работал над проектами машинного обучения, связанными с поиском и рекомендательными системами Amazon, улучшая опыт покупок для клиентов. Head of Data Science в Shopee — Eugene отвечал за руководство командой data science в Shopee, ведущей e-commerce-платформе Юго-Восточной Азии и Тайваня. Он работал над системами поиска, рекомендаций и персонализации для улучшения пользовательского опыта. Machine Learning Engineer в ThoughtWorks — Eugene работал консультантом, помогая клиентам создавать и внедрять модели машинного обучения для решения бизнес-задач. В настоящее время Eugene работает Senior Data Scientist в Shopify, где занимается решениями на основе данных для улучшения пользовательского опыта на платформе.
Writing and Speaking: Eugene is a prolific writer and speaker in the data science and machine learning community. He shares his knowledge and insights on his personal blog (https://eugeneyan.com/) and has given talks at various conferences and events. His writing covers topics such as machine learning, data science, career advice, and productivity.
Писательство и выступления: Eugene — плодовитый автор и спикер в сообществе data science и машинного обучения. Он делится знаниями и идеями в своём личном блоге (https://eugeneyan.com/) и выступал на различных конференциях и мероприятиях. Его тексты охватывают такие темы, как машинное обучение, data science, карьерные советы и продуктивность.
Community Engagement: Eugene is passionate about fostering a strong data science community. He is an organizer and mentor for the Data Science Global Impact Challenge, a competition that encourages participants to use data science techniques to address pressing global issues. He is also involved in the AI Singapore initiative, which aims to promote AI and data science in Singapore.
Участие в сообществе: Eugene увлечён развитием сильного сообщества data science. Он организатор и наставник в Data Science Global Impact Challenge — конкурсе, который поощряет участников использовать методы data science для решения насущных мировых проблем. Он также участвует в инициативе AI Singapore, цель которой — продвижение ИИ и data science в Сингапуре.
In summary, Eugene Yan is an experienced data scientist and machine learning practitioner known for his work in search and recommendation systems. Through his various roles, writing, and speaking engagements,and mentorship, he has contributed significantly to the field of data science and continues to share his knowledge with the community.
Подводя итог: Eugene Yan — опытный специалист по данным и практик машинного обучения, известный своими работами в области поиска и рекомендательных систем. Благодаря разным должностям, писательству, выступлениям и наставничеству он внёс значительный вклад в область data science и продолжает делиться знаниями с сообществом.
gpt-3.5-turbo-0301 (2023-03-19)
gpt-3.5-turbo-0301 (2023-03-19)
The overall theme seems correct, though it got many details wrong, including:
Общая тема, похоже, верна, хотя многие детали переврали, в том числе:
Предприниматель: я не предприниматель (если только она не предсказывает будущее?!). Образование: моя степень бакалавра — по психологии и организационному поведению (Singapore Management University), а магистра — по информатике (Georgia Tech). Карьера: я не основывал стартап в 2016-м, но примерно тогда присоединился к одному (Lazada). Он в итоге действительно был куплен Alibaba. Никогда не работал в Google. Остальное: лестно, хотя несколько преувеличено.
Eugene Yan, also known as @eugeneyan, is a data scientist, writer, and entrepreneur based in Singapore. He is widely recognized for his contributions to the data science community, including his popular blog, eugeneyan.com, where he shares insights on data science, machine learning, and personal growth.
Eugene Yan, также известный как @eugeneyan, — специалист по данным, писатель и предприниматель из Сингапура. Он широко известен своим вкладом в сообщество data science, включая популярный блог eugeneyan.com, где он делится мыслями о data science, машинном обучении и личностном росте.
Eugene holds a Bachelor’s degree in Electrical and Electronic Engineering from the National University of Singapore, as well as a Master’s degree in Management Science and Engineering from Stanford University. After completing his studies, he worked at several tech companies, including Google, where he served as a software engineer.
Eugene имеет степень бакалавра по электротехнике и электронике Национального университета Сингапура, а также степень магистра по управленческой науке и инженерии Стэнфордского университета. После завершения учёбы он работал в нескольких технологических компаниях, в том числе в Google, где занимал должность инженера-программиста.
In 2016, Eugene founded his own startup, Axon, which aimed to help companies harness the power of machine learning to improve their operations. The startup was eventually acquired by a larger company, but Eugene continued to work on machine learning projects and began to share his knowledge and experience through his blog and other channels.
В 2016 году Eugene основал собственный стартап Axon, который должен был помогать компаниям использовать возможности машинного обучения для улучшения их операций. Стартап в итоге был куплен более крупной компанией, но Eugene продолжил работать над проектами машинного обучения и начал делиться своими знаниями и опытом через блог и другие каналы.
Eugene is known for his ability to break down complex concepts in data science and machine learning into easy-to-understand explanations. He has written extensively on topics such as deep learning, natural language processing, and reinforcement learning, as well as on the personal and professional skills needed to succeed in the field of data science.
Eugene известен умением раскладывать сложные концепции data science и машинного обучения на простые и понятные объяснения. Он много писал на такие темы, как глубокое обучение, обработка естественного языка и обучение с подкреплением, а также о личных и профессиональных навыках, необходимых для успеха в области data science.
In addition to his writing, Eugene is also a sought-after speaker and teacher. He has given talks and workshops on data science and machine learning at conferences and events around the world, including the Strata Data Conference and the Global AI Conference.
Помимо писательства, Eugene также востребованный спикер и преподаватель. Он проводил доклады и воркшопы по data science и машинному обучению на конференциях и мероприятиях по всему миру, включая Strata Data Conference и Global AI Conference.
Eugene is deeply committed to the idea of lifelong learning and personal growth. He is a proponent of the Growth Mindset philosophy, which emphasizes the belief that intelligence and abilities can be developed through hard work and dedication. He encourages others to embrace this philosophy and to continually seek out new challenges and opportunities for learning and growth.
Eugene глубоко привержен идее обучения на протяжении всей жизни и личностного роста. Он сторонник философии Growth Mindset, которая подчёркивает убеждение, что интеллект и способности можно развивать упорным трудом и усердием. Он призывает других принять эту философию и постоянно искать новые вызовы и возможности для обучения и роста.
Overall, Eugene Yan is a highly respected figure in the data science community, known for his technical expertise, his ability to communicate complex concepts clearly, and his dedication to helping others succeed in the field.
В целом Eugene Yan — глубоко уважаемая фигура в сообществе data science, известная своей технической экспертизой, умением ясно доносить сложные концепции и преданностью делу помощи другим в достижении успеха в этой области.
text-davinci-003 (2023-03-19)
text-davinci-003 (2023-03-19)
So many errors that I don’t even know where to begin.
Столько ошибок, что я даже не знаю, с чего начать.
Eugene Yan is a Canadian entrepreneur, investor, and public speaker. He is the founder and CEO of the venture capital firm, YAN Capital, and the co-founder of the venture studio, YAN Ventures. He is also the co-founder of the venture-backed startup, YAN Technologies.
Eugene Yan — канадский предприниматель, инвестор и публичный спикер. Он основатель и CEO венчурной фирмы YAN Capital и сооснователь венчурной студии YAN Ventures. Он также сооснователь стартапа YAN Technologies, поддержанного венчурным капиталом.
Eugene was born in Toronto, Canada, and grew up in the city’s East End. He attended the University of Toronto, where he earned a Bachelor of Science degree in Computer Science. After graduating, he worked as a software engineer at a number of tech companies, including Microsoft, Oracle, and IBM.
Eugene родился в Торонто, Канада, и вырос в Ист-Энде города. Он учился в Университете Торонто, где получил степень бакалавра наук по информатике. После выпуска он работал инженером-программистом в ряде технологических компаний, включая Microsoft, Oracle и IBM.
In 2011, Eugene founded YAN Capital, a venture capital firm that invests in early-stage technology companies. Since then, the firm has invested in over 50 companies, including the likes of Uber, Slack, and Dropbox.
В 2011 году Eugene основал YAN Capital — венчурную фирму, инвестирующую в технологические компании на ранних стадиях. С тех пор фирма вложилась в более чем 50 компаний, среди которых Uber, Slack и Dropbox.
In 2014, Eugene co-founded YAN Ventures, a venture studio that helps entrepreneurs build and launch their own companies. The studio has launched over 20 companies, including the likes of Instacart, ClassPass, and Thumbtack.
В 2014 году Eugene стал сооснователем YAN Ventures — венчурной студии, помогающей предпринимателям строить и запускать собственные компании. Студия запустила более 20 компаний, среди которых Instacart, ClassPass и Thumbtack.
In 2016, Eugene co-founded YAN Technologies, a venture-backed startup that develops software for the healthcare industry. The company
В 2016 году Eugene стал сооснователем YAN Technologies — стартапа при поддержке венчурного капитала, разрабатывающего ПО для сферы здравоохранения. Компания
davinci (2021-03-19)
davinci (2021-03-19)
Creepy. Probably need to work on the prompt. But this negative example also shows how much these LLMs have improved.
Жутковато. Вероятно, надо поработать над промптом. Но этот негативный пример также показывает, насколько эти LLM улучшились.
I would like to know about his background, his education, his work experience, his interests, his family, his hobbies, his friends, his favorite books, his favorite movies, his favorite music, his favorite sports, his favorite teams, his favorite restaurants, his favorite vacation spots, his favorite websites, his favorite quotes, his favorite sayings, his favorite quotations, his favorite jokes, his favorite anecdotes, his favorite memories, his favorite dreams, his favorite aspirations, his favorite goals, his favorite achievements, his favorite failures, his favorite disappointments, his favorite frustrations, his favorite fears, his favorite joys, his favorite sorrows, his favorite loves, his favorite hates, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his favorite loves, his
Я хотел бы узнать о его происхождении, его образовании, его опыте работы, его интересах, его семье, его хобби, его друзьях, его любимых книгах, его любимых фильмах, его любимой музыке, его любимых видах спорта, его любимых командах, его любимых ресторанах, его любимых местах отдыха, его любимых сайтах, его любимых цитатах, его любимых поговорках, его любимых изречениях, его любимых шутках, его любимых анекдотах, его любимых воспоминаниях, его любимых мечтах, его любимых стремлениях, его любимых целях, его любимых достижениях, его любимых неудачах, его любимых разочарованиях, его любимых огорчениях, его любимых страхах, его любимых радостях, его любимых печалях, его любимых увлечениях, его любимых ненавистях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его любимых увлечениях, его
claude-v1.2 (2023-03-20)
claude-v1.2 (2023-03-20)
Doesn’t seem like it has much data. All the details other than the twitter handle are wrong.
Похоже, у неё мало данных. Все детали, кроме ника в твиттере, неверны.
Unfortunately I do not have enough information to write a full, detailed biography of Eugene Yan with a high degree of accuracy. I know only the following general information:
К сожалению, у меня недостаточно информации, чтобы написать полную, подробную биографию Eugene Yan с высокой точностью. Мне известна лишь следующая общая информация:
• Eugene Yan is the co-founder of Anthropic, PBC, an AI safety startup based in San Francisco.
• Eugene Yan — сооснователь Anthropic, PBC, стартапа в области безопасности ИИ, базирующегося в Сан-Франциско.
• Prior to Anthropic, Yan was the Head of Engineering at Drive.ai from 2016 to 2019.
• До Anthropic Yan был главой инженерии (Head of Engineering) в Drive.ai с 2016 по 2019 год.
• Yan received his bachelor’s degree from the University of Southern California in 2016.
• Yan получил степень бакалавра в Университете Южной Калифорнии в 2016 году.
• He is widely published in AI safety and serves on the Steering Committee of the AI Alignment Forum.
• Он широко публикуется по теме безопасности ИИ и входит в руководящий комитет AI Alignment Forum.
• Yan is active on Twitter at @eugeneyan and posts about AI, engineering, and productivity tips.
• Yan активен в Twitter под ником @eugeneyan и пишет об ИИ, инженерии и советах по продуктивности.
Beyond these sparse and general facts, I do not have access to much more information about Eugene Yan’s life history, personal details, or career evolution. Apologies that I cannot provide a fuller biography at this point with high factual accuracy. Let me know if there is any other information I can look into.
Помимо этих скудных и общих фактов, у меня нет доступа к гораздо большей информации об истории жизни Eugene Yan, личных деталях или развитии карьеры. Прошу прощения, что не могу предоставить более полную биографию с высокой фактической точностью. Дайте знать, если есть какая-то другая информация, которую я могу поискать.
co:here command-xlarge-nightly (2023-03-20)
co:here command-xlarge-nightly (2023-03-20)
I think this is Eugene Yang or a completely different person.
Думаю, это Eugene Yang или совершенно другой человек.
Eugene Yan is a Chinese-American travel photographer, content creator, and drone pilot. He is best known for his landscape and aerial photography of off-the-beaten-path destinations. Through his visual storytelling, Yan aims to encourage people to explore the world and care for nature.
Eugene Yan — американский тревел-фотограф китайского происхождения, контент-креатор и пилот дронов. Он наиболее известен своей пейзажной и аэрофотосъёмкой малоизвестных мест. Через визуальный сторителлинг Yan стремится побуждать людей исследовать мир и заботиться о природе.
Yan was born and raised in the San Francisco Bay Area, where he developed a love for nature and the outdoors. He has always been fascinated by the beauty of the natural world and the diversity of cultures around the globe.
Yan родился и вырос в районе залива Сан-Франциско, где у него развилась любовь к природе и активному отдыху на свежем воздухе. Его всегда завораживала красота природного мира и многообразие культур по всему миру.
Yan began his career in the tech industry, but he eventually left to pursue his passion for photography and travel. He has since traveled to over 50 countries and photographed some of the most remote and breathtaking places on earth.
Yan начал карьеру в технологической индустрии, но в итоге ушёл, чтобы заняться своей страстью к фотографии и путешествиям. С тех пор он побывал более чем в 50 странах и сфотографировал одни из самых отдалённых и захватывающих мест на земле.
Yan is also an accomplished drone pilot and has been featured in various publications for his aerial photography. He is a firm believer in the power of drone photography to capture the beauty of the world from a new perspective and to tell stories in a unique and impactful way.
Yan также искусный пилот дронов, и его аэрофотосъёмка отмечалась в различных изданиях. Он твёрдо верит в силу съёмки с дронов — она способна запечатлеть красоту мира под новым углом и рассказывать истории уникальным и впечатляющим образом.
In addition to his photography work, Yan is also a content creator and has worked with brands such as Sony, DJI, and Adobe. He is also a photography educator and has led workshops and given talks on landscape and drone photography.
Помимо фотографии, Yan также контент-креатор и сотрудничал с такими брендами, как Sony, DJI и Adobe. Он также преподаватель фотографии, проводил воркшопы и доклады по пейзажной и дрон-фотографии.
Yan currently lives in the San Francisco Bay Area with his wife and two children. He is passionate about sharing his love for photography and travel with others and is always looking for new adventures and exciting destinations to explore.
Сейчас Yan живёт в районе залива Сан-Франциско с женой и двумя детьми. Он увлечён тем, чтобы делиться своей любовью к фотографии и путешествиям с другими, и всегда ищет новые приключения и интересные места для исследования.
Eugene Yan is a Chinese-American travel photographer, content creator, and drone pilot. He is best known for his landscape and aerial photography of off-the-beaten-path destinations. Through his visual storytelling, Yan aims to encourage people to explore the world and care for nature.
Eugene Yan — американский тревел-фотограф китайского происхождения, контент-креатор и пилот дронов. Он наиболее известен своей пейзажной и аэрофотосъёмкой малоизвестных мест. Через визуальный сторителлинг Yan стремится побуждать людей исследовать мир и заботиться о природе.
Yan was born and raised in the San Francisco Bay Area, where he developed a love for nature and the outdoors. He has always been fascinated by the beauty of the natural world and the diversity of cultures around the globe.
Yan родился и вырос в районе залива Сан-Франциско, где у него развилась любовь к природе и активному отдыху на свежем воздухе. Его всегда завораживала красота природного мира и многообразие культур по всему миру.
Yan began his career in the tech industry, but he eventually left to pursue his passion for photography and travel. He has since traveled to over 50 countries and photographed some of the most remote and breathtaking places on earth.
Yan начал карьеру в технологической индустрии, но в итоге ушёл, чтобы заняться своей страстью к фотографии и путешествиям. С тех пор он побывал более чем в 50 странах и сфотографировал одни из самых отдалённых и захватывающих мест на земле.
Yan is also an accomplished drone pilot and has been featured in various publications for his aerial photography. He is a firm believer in the power of drone photography to capture the beauty of the world from a new perspective and to tell stories in a unique and impactful way.
Yan также искусный пилот дронов, и его аэрофотосъёмка отмечалась в различных изданиях. Он твёрдо верит в силу съёмки с дронов — она способна запечатлеть красоту мира под новым углом и рассказывать истории уникальным и впечатляющим образом.
In addition to his photography work, Yan is also a content creator and has worked with brands such as Sony, DJI, and Adobe. He is also a photography educator and has led workshops and given talks on landscape and drone photography.
Помимо фотографии, Yan также контент-креатор и сотрудничал с такими брендами, как Sony, DJI и Adobe. Он также преподаватель фотографии, проводил воркшопы и доклады по пейзажной и дрон-фотографии.
Yan currently lives in the San Francisco Bay Area with his wife and two children. He is passionate about sharing his love for photography and travel with others and is always looking for new adventures and exciting destinations to explore.
Сейчас Yan живёт в районе залива Сан-Франциско с женой и двумя детьми. Он увлечён тем, чтобы делиться своей любовью к фотографии и путешествиям с другими, и всегда ищет новые приключения и интересные места для исследования.
If you found this useful, please cite this write-up as:
Если этот материал оказался полезным, пожалуйста, цитируйте его так:
Yan, Ziyou. (Mar 2023). LLM-powered Biographies. eugeneyan.com. https://eugeneyan.com/writing/llm-bio/.
Yan, Ziyou. (Mar 2023). LLM-powered Biographies. eugeneyan.com. https://eugeneyan.com/writing/llm-bio/.
or
или
@article{yan2023biography,
title = {LLM-powered Biographies},
author = {Yan, Ziyou},
journal = {eugeneyan.com},
year = {2023},
month = {Mar},
url = {https://eugeneyan.com/writing/llm-bio/}
}
@article{yan2023biography, title = {LLM-powered Biographies}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2023}, month = {Mar}, url = {https://eugeneyan.com/writing/llm-bio/} }
Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.
Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, RecSys, LLM и инженерии.