Как создавалась большая модель Цинлю Когере?

Источник: Шидао

Источник изображения: Создано Unbounded AI

Краткое содержание этого выпуска:

1 20-летний мальчик участвовал в написании важных статей, открывших эру генеративного искусственного интеллекта 2 Китайский предприниматель, который любит играть с технологиями, и талантливый мальчик совместно основали Cohere 3 Какие риски принесет ИИ и каковы его самые большие возможности в будущем?

Глобальная конкуренция в области базовых больших моделей все еще продолжается. OpenAI, собравшая десятки миллиардов долларов, несомненно, является одним из лидеров. Его убийственное приложение ChatGPT имеет сотни миллионов активных пользователей. Несомненно, трудно конкурировать с ним в лоб.

ИИ-единорог с оценкой в 2 миллиарда долларов США нашел дифференцированный путь в конкуренции с базовыми крупными моделями, став глотком свежего воздуха в схватке крупного модельного предпринимательства.

Этим единорогом является компания Cohere, соучредителями которой являются Эйдан Гомес, самый молодой автор новаторской статьи «Внимание — это все, что вам нужно», и двое его выпускников Университета Торонто, Иван Чжан и Ник Фрост.

Cohere недавно получила 270 миллионов долларов США в рамках финансирования серии C, в результате чего совокупная сумма финансирования составила более 430 миллионов долларов США, а оценка - более 2,1 миллиарда долларов США. В список его инвесторов входят такие корпоративные гиганты, как Salesforce, NVIDIA и Oracle, ведущие инвестиционные институты, такие как Tiger Global и Index Ventures, а также известные эксперты в области искусственного интеллекта, такие как Джеффри Хинтон (три гиганта глубокого обучения и победитель премии Тьюринга). Премия) и Ли Фейфэй. Среди его партнеров также Amazon, McKinsey и др.

Почему Cohere — это глоток свежего воздуха в мире крупного предпринимательства?

Что касается продуктов, он ориентирован на обслуживание клиентов корпоративного уровня.Основываясь на мощной большой модели Command, он обеспечивает обработку текста на уровне предприятия, вопросы и ответы на знания и другие функции, а модель может быть точно настроена и настроена. Кроме того, компания запустила Coral, помощника по обмену знаниями корпоративного уровня.

Что касается безопасности, чтобы развеять сомнения корпоративных клиентов, ее продукты могут быть развернуты в мультиоблачных и локальных средах и иметь высокую степень конфиденциальности данных.

С точки зрения стратегии финансирования она предпочитает брать деньги у крупных компаний, связанных с ее собственной отраслевой цепочкой, и использовать мощь гигантов для своего развития, но не привязана к гигантам (см. отношения OpenAI и Microsoft).

Мы постарались подойти к этому с точки зрения предпринимателей, используя многочисленные интервью с двумя основателями Cohere Эйданом Гомесом и Иваном Чжаном в качестве материалов для выяснения истории Cohere. Процесс разработки от 0 до 1, а также многочисленные идеи двух предпринимателей Эйдана и Ивана о предприятиях и искусственном интеллекте.

*Примечание: материал в этой статье взят из бесед между инвестором Cohere и партнером Madrona Джоном Туроу, основателем Weights&Bias Лукасом Бивальдом, известным медийным лицом Стивеном Маршем и двумя соучредителями Cohere Эйданом Гомесом и Иваном Чжаном. *

20-летний парень участвовал в написании важной статьи, открывшей эру генеративного искусственного интеллекта.

Эйдан Гомес — самый молодой автор основополагающей статьи «Внимание — это все, что вам нужно» в области больших языковых моделей. В то время он пошел стажироваться в Google Brain из Университета Торонто. Ему было еще около 19 или 20 лет, когда он был студентом. Это был его первый опыт в американском мире технологий.

Эйдан Гомес в Университете Торонто

Его наставником по стажировке в Google был Лукаш Кайзер, один из главных авторов книги «Внимание — это все, что вам нужно». В то время они совместно создавали Tensor — программную платформу для обучения больших нейронных сетей, а также обучали модель ИИ. Идея состоит в том, чтобы обучить огромную модель ИИ, которая сможет научиться делать множество вещей на основе набора данных. Для ее обучения необходимо использовать наборы данных в различных модальностях, включая изображения, текст и даже видео.

В то время Эйдан и Ноам Шазир (также автор статьи «Трансформер») были «студентами».Ноам также изучал большие языковые модели, но изучаемый им алгоритм был RNN (рекуррентная нейронная сеть). Цель Ноама — найти новую архитектуру, которая была бы проще, совершеннее и масштабируемее, чем RNN.

Лукаш, Эйдан и Ноам нашли общий язык и планировали провести это исследование вместе. Затем они обнаружили, что Ники Пармар, Якоб Ушкорейт и Ашиш Васвани из группы переводов Google Brain имели схожие идеи. После слияния двух групп все работали вместе. После обширных исследований родилась заключительная часть «Внимание — это все, что вам нужно».

Документ был подан рано утром, когда в офисе было всего два человека, Эйдан и Ашиш. После того как рукопись была отправлена на рассмотрение, они были в восторге. Ашиш предвидел, что эта статья может иметь огромное влияние, но молодой Эйдан впервые подает важную статью и еще не осознает важности этой статьи. Как он сказал в интервью обозревателю New Yorker Стивену Маршу: «Я не думаю, что кто-то предвидит, чем оно станет в будущем».

Он был действительно шокирован практическим воздействием модели Трансформера после возвращения в Университет Торонто после стажировки.

«В то время я проводил летние исследования в Университете Торонто, а затем получил электронное письмо от Лукаша с темой «Посмотрите на это». Содержание письма представляло собой рассказ о японской панк-рок-группе. история записала, как они сформировали группу и как выпустили альбом. Затем он пожалел о процессе роспуска. В конце письма Лукаш написал: «Единственное слово, которое я ввел, было «трансформер», и модель автоматически создала историю».

Я думаю, что после прочтения этого фрагмента машинного текста начнется революция в продуктах. Потому что впервые нечеловеческая система использует язык так же убедительно, как и мы, люди. — сказал Эйдан Стивену Маршу.

Большая модель эволюционного дерева

Когда появились «Внимание — это все, что вам нужно» и «Трансформер», эта инновационная модель была быстро принята сообществом ИИ и стала новым техническим стандартом. Это вызвало повальное увлечение среди исследователей искусственного интеллекта, и постоянно появляются мощные модели на основе Transformer, такие как BERT и GPT. В конце 2022 года ChatGPT официально положил начало буму генеративного искусственного интеллекта.

Китайский предприниматель, который любит играть с технологиями, и талантливый мальчик совместно основали компанию Cohere.

Иван Чжан, соучредитель Cohere, — нетипичный исследователь искусственного интеллекта, но типичный предприниматель. Он и Эйдан являются выпускниками Университета Торонто, но позже бросили школу, чтобы начать бизнес с Эйданом. "Я творец. Мне не нравится сидеть в классе и просто поглощать много информации. Мне нужно делать это самому и учиться, «играя с технологиями». Для меня это лучший способ учиться». Вот как он инвестировал в Cohere Джон Туроу представился.

Иван Чжан, сооснователь Cohere

От исследователя к предпринимателю, от ToC к ToB

В 2017 году, после отчисления из Университета Торонто, Иван работал back-end инженером в стартап-компании и именно в это время познакомился с Эйданом Гомесом. В то время Эйдан хотел создать независимую исследовательскую группу в области ИИ, чтобы проводить исследования в области ИИ и проверять свои инновационные идеи, поэтому они вместе основали FOR.ai. Эта организация действует до сих пор и называется Cohere For AI. Она состоит из ряда ученых-исследователей в области искусственного интеллекта и в основном проводит фундаментальные исследования в области искусственного интеллекта.

В 2019 году Иван сделал Эйдану предложение: «Почему бы нам не сделать что-нибудь новое вместе?» Так они стали независимыми от FOR.ai и начали более формальный бизнес. На этом этапе у них уже есть предпринимательский опыт, они понимают, как правильно управлять организацией, и познакомились со многими основателями в области искусственного интеллекта.

На заре Cohere их первой идеей было создание базовой платформы искусственного интеллекта, которая позволила бы разработчикам загружать модели искусственного интеллекта, а затем платформа сжимала бы размер модели, чтобы сделать ее более эффективной. Но на тот момент повальное увлечение генеративным ИИ еще не наступило, и рынок был еще слишком мал.

Как автор статьи, Эйдан наблюдал за бурным развитием модели Transformer в сообществе ИИ, видел, что она решает различные проблемы, связанные с обработкой текста, и видел, как разработчики совершенствуют эту архитектуру. В то время был выпущен OpenAI GPT-2, а параметры модели Трансформера превысили 1 млрд. Это также заставило Эйдана еще больше осознать важность масштаба модели и реальный потенциал этой модельной архитектуры.

В результате несколько основателей превратили Cohere из платформы сжатия моделей в базовые большие модели и сервисы.

«После тестирования GPT-2 мы обнаружили, что это очень круто, но мы не уверены, какие сервисы можно создавать с использованием базовых моделей искусственного интеллекта, таких как GPT. Сначала мы попытались создать первый проект Cohere, который представлял собой текстовый автоматический инструмент завершения. представляет собой расширение браузера Chrome. Пользователям нужно всего лишь ввести фрагмент текста в текстовое поле, и оно может автоматически продолжиться. Изначально мы планировали использовать рекламу для зарабатывания денег. (Примечание: это бизнес ToC) Модель).Но мы, очевидно, недооценили сложность создания потребительского продукта.Опыт этого продукта не очень хороший, и у него не так много пользователей.Мы понимаем, что у нас нет конкурентного преимущества в этом направлении.

Поэтому мы решили демонтировать внешний интерфейс и предоставить только возможности внутренней модели, перейдя от ToC к ToB для предоставления API-сервисов корпоративного уровня. В то время 99% случаев использования НЛП требовали внедрения слов и точной настройки модели, поэтому за несколько месяцев мы создали платформу API с возможностями генерации ИИ, которая могла встраивать и точно настраивать модель. Иван поделился мыслями о трансформации Когера с Джоном Туроу.

Что касается того, почему Cohere обратилась к ToB и основной миссии компании, Эйдан Гомес сделал четкое заявление: «Мы просто хотим, чтобы большие модели ИИ использовались большим количеством людей. В то время разработчики и предприятия хотели воспользоваться возможностями больших моделей ИИ, независимо от Существует множество препятствий с точки зрения технологий и вычислительной мощности.Смысл нашего существования состоит в том, чтобы устранить препятствия для использования людьми больших моделей ИИ, чтобы разработчики, не знакомые с ИИ, а также обычные предприятия могут легко использовать возможности ИИ.

Потому что диалоговое взаимодействие, уникальное для генеративного ИИ, — лучший опыт для конечных пользователей. Если я возьму себя в качестве примера, то, когда я хочу открыть банковский счет, если у банка будет мобильное приложение, которое сможет взаимодействовать со мной 24 часа в сутки и эффективно решать проблемы, это будет для меня гораздо привлекательнее.

Cohere здесь, чтобы сделать именно это, помогая всем типам предприятий и организаций использовать возможности генеративного искусственного интеллекта для повышения своего конкурентного преимущества.

Cohere позволяет корпоративным клиентам настраивать модели на основе собственных данных.

Когда предприятия внедрят возможности ИИ, у них также возникнут вопросы по двум вопросам, а именно: хостинг моделей и конфиденциальность данных. Мы поддерживаем мультиоблачный хостинг: предприятия могут выбрать подходящий им облачный сервис или развернуть его на локальном сервере. Мы также придаем большое значение конфиденциальности данных. Когда предприятия используют свои собственные данные для точной настройки модели, независимо от того, развернуты ли они в облаке или на локальном сервере, мы не увидим их данные. Это одна из наших основных функций. "

Эклектичная стратегия развития талантов формирует высокий творческий потенциал Cohere

Способность Cohere быстро меняться и находить правильную позицию на ранних этапах неотделима от взглядов на таланты и предпринимательской философии, которые Иван и Эйдан накопили со времен FOR.ai. Иван поделился своей философией подбора талантов и предпринимательской культурой в беседе с Джоном Туроу: «Наш метод подбора персонала другой. Когда FOR.ai начал свой бизнес, мы установили принцип: мы ищем людей с разным опытом, но тех, кто очень интересуется искусственным интеллектом и хочет оказать огромное влияние.

Вам не обязательно иметь идеальный опыт работы в Meta AI, DeepMind или Google, но у вас должен быть очень большой интерес и энтузиазм в области, на которой вы фокусируетесь. Причем можно не только писать статьи, но и иметь практические навыки. Мы применили этот подход к подбору персонала в Cohere и создали очень сильную команду на ранней стадии.

Что касается корпоративной культуры, нам нравится много исследовать технологии, «играть с технологиями», а затем совершать прорывы. Хотя мы все пишем статьи, мы не «ботаники». У нас очень четкое представление о том, что нам следует делать, и мы уделяем много времени инженерным практикам, а не просто исследованию алгоритмов. Это позволяет нам создавать продукты, которые действительно может принести пользу людям. "

Теперь, когда OpenAI занимает позицию C среди генеративного ИИ, поможет ли ChatGPT, у которого уже есть сотни миллионов активных пользователей, OpenAI монополизировать его?Есть ли еще возможности у других компаний? У Эйдана Гомеса свое мнение: «Я ни в коем случае не думаю, что в большой модельной сфере будет монополия. Я думаю, что каждая компания имеет свой стиль, направление и свои преимущества и найдет свою позицию на рынке». Индивидуальные и корпоративные клиенты Они выберут лучшего партнера, самую надежную компанию и платформу, которая лучше всего поможет им добиться успеха.

Для компаний базовой модели, таких как Cohere, конечным состоянием, с которым мы столкнемся, скорее всего, станет не принцип «победитель получает все», а диверсифицированная рыночная структура. Мы будем полагаться на свои собственные преимущества, чтобы выиграть свои игры. Мы будем использовать различные методы, чтобы помочь клиентам использовать лучшие возможности искусственного интеллекта. Наша цель — позволить модели искусственного интеллекта помочь конкретным клиентам получить максимальную отдачу с помощью различных методов, включая подсказки и тонкую настройку. "

Какие риски несет ИИ и каковы его самые большие возможности в будущем?

Бурное развитие генеративного искусственного интеллекта, хотя и приветствовалось, также вызвало множество опасений. На общественном уровне люди беспокоятся о том, не будет ли ИИ развиваться слишком быстро и не станет ли он слишком мощным, «украв» тем самым человеческие возможности трудоустройства; на практическом уровне многие люди обеспокоены безопасностью и управляемостью моделей ИИ.

Эйдан Гомес и Иван Чжан также высказали свое мнение на эту тему.

ИИ может «загрязнять» социальные сети

Взгляд Эйдана Гомеса носит более социальный характер. внимание к текущим реальным рискам.

Например, вполне возможно, что ИИ сможет генерировать миллионы ботов, которые беспрепятственно войдут в наши социальные сети и публичные обсуждения, а затем будут продвигать определенную точку зрения (независимо от того, полезна она или вредна). Это может иметь непредвиденные последствия для некоторых общественных вопросов, которые могут оказать существенное влияние на общество.

Поэтому мы должны взвесить риски этого вопроса, и лучше всего иметь конкретную политику для смягчения этого риска. Например, люди имеют право знать, создан ли медиаконтент или маркетинговый контент, который мы читаем, людьми или синтезирован машинами. "

Точка зрения Ивана Чжана относительно реалистична. Он считает, что ИИ сталкивается с двумя основными проблемами: «Что касается задач, стоящих перед ИИ, информация, которую мы получаем от клиентов, заключается, прежде всего, в том, как оценить способность генеративных моделей ИИ. Чтобы точно сравнить две модели ИИ. Способность генеративного ИИ непроста, и с точки зрения генерации текста это сравнение, скорее всего, будет субъективным. Это создаст определенные препятствия для коммерческого внедрения генеративного ИИ.

Еще одной проблемой является проблема конфиденциальности данных. Например, используя ИИ для написания конфиденциального электронного письма, будете ли вы беспокоиться о том, что конфиденциальные данные, которые вы вводите в модель, будут злоупотреблены? Конечно, эта обеспокоенность становится для нас возможностью, и мы работаем с Oracle над решением этой проблемы. "

Воплощённый интеллект — это большие возможности для ИИ в будущем

Эйдан Гомес и Иван Чжан — эксперты в области ИИ и предприниматели, их взгляды на новые направления и возможности ИИ в будущем также заслуживают внимания.

Прежде всего, все они неоднократно упоминали одну и ту же технологию, а именно воплощенный интеллект, то есть внедрение возможностей генеративного ИИ в материальные машины.

Эйдан сказал Лукасу Бивальду: "Я думаю, что это действительно здорово применять генеративный искусственный интеллект в робототехнике и материализации, и в этом направлении есть очень большой спрос. Мы все представляли, что будут делать роботы с высоким интеллектом и гибкими телами. Как насчет этого - это определенно приведет к огромным изменениям. Но в этом направлении еще предстоит пройти долгий путь, и я также надеюсь, что смогу оказать влияние в этом направлении и попытаться сделать что-то связанное».

Иван также считает, что воплощенный интеллект, безусловно, представляет собой большую возможность для следующего этапа развития ИИ: «Я думаю, что самая большая возможность — это «модель действия», которая может влиять на объекты. Объединение ИИ с инженерными и физическими продуктами будет очень интересным. Многие компании заинтересованы в них. Однако для того, чтобы эта технология была реализована, точность модели необходимо еще больше повысить».

Кроме того, Эйдан также высказал долгосрочное видение интеллектуального развития и будущего применения ИИ: "Теперь построение моделей ИИ зависит от людей. Чтобы сделать ИИ более умным, мы будем использовать различные человеческие знания высокого уровня, чтобы обучать его.Например,это все равно что просить очень умного человека обучить не очень умный ИИ.Тогда в будущем,если модель ИИ станет очень умной и все человеческие знания будут усвоены ею,он столкнулись с критической точкой: людям больше нечему научить ИИ.

Меня больше всего интересует, что произойдет, если ИИ пробьет эту критическую точку? Если группа ИИ, которые усвоили существующие у людей знания, будет разговаривать, исследовать и учиться вместе, создадут ли они новые знания?

Возможно, когда это время придет, мы, люди, получим новые знания от ИИ, а ИИ заставит людей плавать в новом океане знаний. "