Як створювалася велика модель Qingliu Cohere?

Джерело: Shidao

Джерело зображення: створено Unbounded AI

Короткий зміст цього випуску:

1 20-річний хлопець брав участь у важливих роботах, які започаткували еру генеративного ШІ 2 Китайський підприємець, який любить грати з технологіями, і талановитий хлопчик спільно заснували Cohere 3 Які ризики принесе ШІ та які його найбільші можливості в майбутньому?

Глобальна конкуренція у сфері базових великих моделей все ще триває. OpenAI, який залучив десятки мільярдів доларів, безсумнівно, є одним із лідерів. Його вбивча програма ChatGPT має сотні мільйонів активних користувачів. Безсумнівно, важко конкурувати з ним.

Єдиноріг зі штучним інтелектом, оцінка якого оцінюється в 2 мільярди доларів США, знайшов диференційований шлях у змаганні базових великих моделей, ставши ковтком свіжого повітря в сутичці великого підприємництва.

Цей єдиноріг — компанія Cohere, співзасновниками якої були Ейдан Гомес, наймолодший автор новаторської статті «Увага — все, що вам потрібно», і двоє його випускників Університету Торонто, Іван Чжан і Нік Фросст.

Нещодавно компанія Cohere отримала 270 мільйонів доларів США в рамках фінансування серії C, в результаті чого загальна сума фінансування склала понад 430 мільйонів доларів США, а оцінка – понад 2,1 мільярда доларів США. Його список інвесторів включає такі корпоративні гіганти, як Salesforce, NVIDIA та Oracle, провідні інвестиційні установи, такі як Tiger Global та Index Ventures, а також відомих експертів зі штучного інтелекту, таких як Джеффрі Хінтон (три гіганти глибокого навчання та переможець Тьюринга). Нагорода) і Лі Фейфей. Серед її партнерів також Amazon, McKinsey тощо.

Чому Cohere є ковтком свіжого повітря в сутичці великого підприємництва?

Що стосується продуктів, він зосереджений на обслуговуванні клієнтів корпоративного рівня. На основі потужної великої моделі Command він забезпечує обробку текстів на рівні підприємства, знання, запитання та відповіді та інші функції, а модель можна точно налаштувати та налаштувати. Крім того, він запустив Coral, помічник із знань корпоративного рівня.

З точки зору безпеки, щоб розвіяти сумніви корпоративних клієнтів, її продукти можна розгортати в мультихмарі та локально, а також мають високий ступінь конфіденційності даних.

З точки зору стратегії фінансування, він вважає за краще брати гроші у великих компаній, пов’язаних із його власним галузевим ланцюгом, і використовувати силу гігантів для свого розвитку, але він не прив’язаний до гігантів (зверніться до відносин між OpenAI і Microsoft).

Як відомого штучного єдинорога, продукти Cohere та корпоративні конкурентні переваги були ретельно вивчені. Ми намагалися підійти до цього з точки зору підприємців, використовуючи численні інтерв’ю з двома засновниками Cohere Ейданом Гомесом та Іваном Чжаном як матеріали для розбору історії Cohere. Процес розробки від 0 до 1, а також багато думок двох підприємців Айдана та Івана про підприємства та ШІ.

*Примітка: матеріал у цій статті взято з розмов між інвестором Cohere і партнером Madrona Джоном Туроу, засновником Weights&Bias Лукасом Бівальдом, відомою медійною персоною Стівеном Маршем і двома співзасновниками Cohere Ейданом Гомесом і Іваном Жангом. *

20-річний хлопець брав участь у важливій роботі, яка започаткувала еру генеративного ШІ

Ейдан Гомес — наймолодший автор основоположної статті «Увага — це все, що вам потрібно» в галузі великих мовних моделей. У той час він пішов на стажування в Google Brain з Університету Торонто. Йому ще було 19 чи 20 років, коли він був студентом. Це був його перший досвід у світі американських технологій.

Ейдан Гомес в Університеті Торонто

Його наставником на стажуванні в Google був Лукаш Кайзер, один із головних авторів книги «Увага — це все, що вам потрібно». У той час вони спільно створили Tensor, програмну платформу для навчання великих нейронних мереж, а також навчали модель ШІ. Ідея полягає в тому, щоб навчити величезну модель штучного інтелекту, яка може навчитися робити багато речей на основі набору даних. Навчання вимагає використання наборів даних у різних модальностях, включаючи зображення, текст і навіть відео.

У той час Ейдан і Ноам Шазір (також автор статті Transformer) були «студентами».Ноам також вивчав великі мовні моделі, але алгоритм, який він вивчав, був RNN (Recurrent Neural Network). Мета Ноама — знайти нову архітектуру, яка була б простішою, досконалішою та більш масштабованою, ніж RNN.

Тож Лукаш, Айдан і Ноам домовилися й планували провести це дослідження разом. Потім вони виявили, що Нікі Пармар, Якоб Ушкорейт і Ашиш Васвані з перекладацької групи Google Brain мають схожі ідеї. Після об’єднання двох груп усі працювали разом Після тривалих досліджень народилася остання частина «Увага — це все, що вам потрібно».

Документ був поданий рано вранці, коли в офісі було лише двоє людей, Ейдан і Ашиш. Після того, як рукопис було подано, вони були занурені в хвилювання. Ешіш передбачив, що ця стаття може мати величезний вплив, але молодий Ейдан подає важливу статтю вперше і ще не усвідомлює її важливості. Як він сказав в інтерв'ю оглядачу New Yorker Стівену Маршу: «Я не думаю, що ніхто передбачає, що це станеться в майбутньому».

Після повернення до Університету Торонто після стажування він був справді шокований практичним впливом моделі трансформера.

«Тоді я проводив літні дослідження в Університеті Торонто, а потім отримав електронний лист від Лукаша з темою «Подивіться на це». Вміст електронного листа був розповіддю про японську панк-рок групу. story записав, як вони створили групу та як вони випустили альбом. Потім він пошкодував про процес розпуску. У кінці електронного листа Лукаш написав: "Єдине слово, яке я ввів, було transformer, і модель автоматично згенерувала історію".

Прочитавши цей уривок машинно-генерованого тексту, я думаю, що це почне революцію в продуктах. Тому що вперше нелюдська система використовує мову так само переконливо, як і ми, люди. – сказав Ейдан Стівену Маршу.

Велика модель еволюційного дерева

Коли народилися "Увага - це все, що вам потрібно" та Трансформер, ця інноваційна модель була швидко прийнята спільнотою ШІ та стала новим технічним стандартом. Це викликало божевілля серед дослідників штучного інтелекту, і постійно з’являються потужні моделі на основі Transformer, такі як BERT і GPT. Наприкінці 2022 року ChatGPT офіційно розпочав бум генеративного ШІ.

Китайський підприємець, який любить грати з технологіями, і талановитий хлопчик разом заснували Cohere

Іван Чжан, співзасновник Cohere, є нетиповим дослідником ШІ, але типовим підприємцем. Вони з Ейданом є випускниками Університету Торонто, а пізніше кинули школу, щоб розпочати бізнес з Ейданом. «Я творець. Мені не подобається сидіти в класі й просто поглинати багато інформації. Мені потрібно робити це самому й вчитися, «граючись із технологіями». Це найкращий спосіб для мене навчання». Ось як він інвестував у Cohere Джон Туроу представляється.

Іван Чжан, співзасновник Cohere

Від дослідника до підприємця, від ToC до ToB

У 2017 році, кинувши університет Торонто, Іван працював бекенд-інженером у стартап-компанії, саме тоді він познайомився з Ейданом Гомесом. У той час Ейдан хотів створити незалежну дослідницьку групу штучного інтелекту, яка б проводила зацікавлені дослідження штучного інтелекту та перевіряла його інноваційні ідеї, тому вони разом розпочали FOR.ai. Ця організація все ще працює й називається Cohere For AI. Вона складається з ряду вчених-дослідників у галузі ШІ та в основному проводить фундаментальні дослідження ШІ.

У 2019 році Іван запропонував Ейдану: «Чому б нам не зробити щось нове разом?» Таким чином вони стали незалежними від FOR.ai і почали більш офіційний бізнес. На цьому етапі вони вже мають підприємницький досвід, розуміють, як правильно керувати організацією, і зустріли багатьох засновників у сфері ШІ.

На початку існування Cohere їхньою першою ідеєю було створити базову платформу штучного інтелекту, яка дозволила б розробникам завантажувати моделі штучного інтелекту, а потім платформа стискала б розмір моделі, щоб зробити модель ефективнішою. Але на той момент повне захоплення генеративним штучним інтелектом ще не настало, а ринок був ще надто малим.

Як автор статті, Ейдан спостерігав за бурхливим розвитком моделі Transformer у спільноті штучного інтелекту, бачив, що вона вирішує різні проблеми, пов’язані з обробкою тексту, і бачив, як розробники вдосконалюють цю архітектуру. У той час було випущено OpenAI GPT-2, і параметри моделі Transformer перевищили 1 млрд. Це також змусило Ейдана ще більше усвідомити важливість масштабу моделі та реальний потенціал цієї архітектури моделі.

У результаті кілька засновників перетворили Cohere з платформи стиснення моделей на базові великі моделі та сервіси.

«Після тестування GPT-2 ми виявили, що це дуже круто, але ми не впевнені, які служби можна створювати за допомогою базових моделей AI, таких як GPT. Спочатку ми спробували створити перший проект Cohere, який був текстовим автоматичним інструментом завершення. у формі розширення для веб-переглядача Chrome. Користувачам потрібно лише ввести фрагмент тексту в текстове поле, і воно може автоматично продовжувати завершуватися. Спочатку ми планували використовувати рекламу, щоб заробляти гроші. (Примітка: це зміст бізнесу Але ми, очевидно, недооцінили складність створення споживчого продукту. Досвід із цим продуктом поганий, і він не отримав багато користувачів. Ми розуміємо, що у нас немає конкурентної переваги в цьому напрямку.

Тому ми вирішили демонтувати зовнішній інтерфейс і надати лише можливості внутрішньої моделі, перейшовши від ToC до ToB, щоб надавати послуги API корпоративного рівня. На той час 99% випадків використання NLP вимагали вбудовування слів і точного налаштування моделі, тому протягом кількох місяців ми створили платформу API із можливостями генерації штучного інтелекту, яка могла вбудовувати та точно налаштовувати модель. Іван поділився ідеєю трансформації Cohere з Джоном Туроу.

Щодо того, чому Cohere звернувся до ToB та основної місії компанії, Ейдан Гомес зробив чітку заяву: «Ми просто хочемо, щоб великі моделі штучного інтелекту використовували більше людей. У той час розробники та підприємства хотіли скористатися можливостями великих моделей штучного інтелекту, незалежно від Є багато перешкод з точки зору технології та обчислювальної потужності. Сенс нашого існування полягає в тому, щоб усунути перешкоди для людей у використанні великих моделей штучного інтелекту, щоб розробники, які не знайомі з штучним інтелектом, а також звичайні підприємства можуть легко використовувати можливості ШІ.

Тому що розмовна взаємодія, унікальна для генеративного ШІ, є найкращим досвідом для кінцевих користувачів. Взявши себе як приклад, коли я хочу відкрити банківський рахунок, якщо банк може мати мобільний додаток, який може взаємодіяти зі мною 24 години на добу та ефективно вирішувати проблеми, це буде для мене набагато привабливішим.

Cohere тут, щоб зробити саме це, допомагаючи всім типам підприємств і організацій використовувати потужність генеративного штучного інтелекту для підвищення їх конкурентної переваги.

Cohere дозволяє корпоративним клієнтам точно налаштовувати моделі за допомогою власних даних

Коли підприємства запровадять можливості штучного інтелекту, у них також виникнуть запитання щодо двох проблем, а саме хостингу моделі та конфіденційності даних. Ми підтримуємо мультихмарний хостинг. Підприємства можуть вибрати хмарний сервіс, який їм підходить, або розгорнути його на локальному сервері. Ми також надаємо великого значення конфіденційності даних. Коли підприємства використовують власні дані для точного налаштування моделі, незалежно від того, розгорнуто в хмарі чи на локальному сервері, ми не бачитимемо їхні дані. Це одна з наших основних функцій. "

Еклектична стратегія талантів формує високу креативність Cohere

Здатність Cohere швидко змінюватись і знаходити правильну позицію на ранніх етапах невід’ємна від талантів і підприємницької філософії, які Іван і Ейдан накопичили з часів FOR.ai. Під час розмови з Джоном Туроу Іван поділився їхньою філософією найму талантів і підприємницькою культурою: «Наш метод набору персоналу відрізняється. Коли FOR.ai починав бізнес, ми встановили принцип: ми шукаємо людей з різним професійним становищем. , але тих, хто дуже зацікавлений у штучному інтелекті та хоче зробити величезний вплив.

Вам не обов’язково мати ідеальний досвід роботи в Meta AI, DeepMind або Google, але ви повинні мати дуже високий інтерес і ентузіазм у сфері, на якій ви зосереджуєтеся. І можна не тільки писати роботи, а й мати практичні навички. Ми застосували цей підхід до набору персоналу в Cohere і створили дуже сильну команду на ранньому етапі.

З точки зору корпоративної культури, ми любимо багато досліджувати технології, «грати з технологіями», а потім робити прориви. Хоча ми всі пишемо статті, ми не «ботаніки». Ми маємо дуже чітке уявлення про те, що нам робити, і витрачаємо багато часу на інженерні практики, а не просто на дослідження алгоритмів. Це дозволяє нам створювати продукти, які справді може принести користь людям. значення. "

Тепер, коли OpenAI займає позицію C генеративного штучного інтелекту, чи допоможе ChatGPT, який уже має сотні мільйонів активних користувачів, монополізувати його? Чи інші компанії ще мають можливості? Айдан Гомес має власну думку: «Я ні в якому разі не думаю, що буде монополія у сфері великої моделі. Я думаю, що кожна компанія має свій стиль, напрямок і свої переваги, і вона знайде своє місце на ринку». Споживачі та корпоративні клієнти Вони виберуть найкращого партнера, найнадійнішу компанію та платформу, яка найкраще допоможе їм досягти успіху.

Для базових модельних компаній, таких як Cohere, кінцевим станом, з яким ми зіткнемося, швидше за все, буде не «переможець отримує все», а диверсифікована структура ринку. Ми будемо покладатися на власні переваги, щоб вигравати у власних іграх. Ми будемо використовувати різні методи, щоб допомогти клієнтам, щоб вони могли використовувати найкращі можливості ШІ. Ми зосереджені на тому, щоб дозволити моделі штучного інтелекту допомогти конкретним клієнтам отримати максимальну цінність за допомогою різних методів, включаючи підказки та тонке налаштування. "

Які ризики несе ШІ та які його найбільші можливості в майбутньому?

Вибух генеративного штучного інтелекту, хоча і вітався, також викликав багато занепокоєння. На публічному рівні люди стурбовані тим, чи не буде штучний інтелект розвиватися надто швидко і чи стане надто потужним, таким чином «вкрадаючи» можливості роботи людей; на практичному рівні багато людей стурбовані безпекою та керованістю моделей ШІ.

Свою думку на цю тему також висловили Айдан Гомес і Іван Чжан.

ШІ може «забруднити» соціальні мережі

Погляд Ейдана Гомеса більш соціальний.Він сказав, що «забруднення» соціальних медіа контентом, створеним штучним інтелектом, заслуговує на занепокоєння: «Замість того, щоб хвилюватися про те, що нелюдський інтелект замінить людину, що може статися не через багато років, ми повинні платити. увагу до поточних реальних ризиків.

Наприклад, цілком можливо, що штучний інтелект може створювати мільйони ботів, які безперешкодно проникають у наші соціальні мережі та публічні розмови, а потім просувають певну точку зору (незалежно від того, корисна ця точка зору чи шкідлива). Це може мати непередбачені наслідки щодо деяких суспільних проблем, які можуть мати значний вплив на суспільство.

Отже, ми повинні зважити ризики, пов’язані з цим, і найкраще мати конкретну політику для пом’якшення цього ризику. Наприклад, люди мають право знати, чи медіаконтент чи маркетинговий контент, який ми читаємо, створений людьми чи синтезований машинами. "

Погляд Івана Чжана відносно реалістичний.Він вважає, що штучний інтелект стикається з двома основними проблемами: "Що стосується проблем, які постають перед ШІ, інформація, яку ми отримуємо від клієнтів, насамперед полягає в тому, як оцінити здатність генеративних моделей ШІ. Щоб точно порівняти дві моделі ШІ. Це непросто, і з точки зору генерації тексту це порівняння, швидше за все, буде суб’єктивним. Це створить певні перешкоди для комерційного впровадження генеративного ШІ.

Іншою проблемою є проблема конфіденційності даних.Коли в комерційних цілях використовуються великі моделі з відкритим або закритим кодом, ви іноді використовуєте деякі конфіденційні дані, що, у свою чергу, створює проблеми з відповідністю. Наприклад, використовуючи штучний інтелект, щоб допомогти вам у написанні конфіденційного електронного листа, ви б хвилювалися, що конфіденційні дані, які ви вводите в модель, будуть зловживані? Звичайно, це занепокоєння стає для нас можливістю, і ми працюємо з Oracle, щоб вирішити цю проблему. "

Втілений інтелект — це великі можливості для ШІ в майбутньому

Айдан Гомес та Іван Чжан є експертами зі штучного інтелекту та підприємцями, їхні погляди на нові напрямки та можливості ШІ в майбутньому також варті уваги.

По-перше, усі вони в різних випадках згадували одну й ту саму технологію, яка є втіленим інтелектом, тобто впровадженням можливостей генеративного ШІ в матеріальні машини.

Айдан сказав Лукасу Бівальду: "Я вважаю, що це дійсно круто застосовувати генеративний штучний інтелект до роботизації та матеріалізації, і існує дуже великий попит у цьому напрямку. Ми всі уявляли, що будуть робити роботи з високим інтелектом і гнучким тілом. Як щодо цього - це безсумнівно призведе до величезних змін. Але ще попереду довгий шлях у цьому напрямку, і я також сподіваюся, що зможу вплинути на це напрямок і спробувати зробити щось пов’язане».

Іван також вважає, що втілений інтелект – це, безумовно, велика можливість для наступного етапу ШІ: «Я думаю, що найбільша можливість – це «модель дії», яка може впливати на об’єкти. Поєднання ШІ з інженерними та фізичними продуктами буде дуже захоплюючим. багато компаній зацікавлені в них. Однак для того, щоб ця технологія була матеріалізована, точність моделі потребує подальшого вдосконалення».

Крім того, Ейдан також представив довгострокове бачення інтелектуального розвитку та майбутніх застосувань штучного інтелекту: "Тепер конструкція моделей штучного інтелекту покладається на людей. Щоб зробити штучний інтелект більш розумним, ми будемо використовувати різноманітні людські знання високого рівня для навчити його. Наприклад, це все одно, що попросити дуже розумну людину навчити не дуже розумного ШІ. Тоді в майбутньому, якщо модель ШІ стане дуже розумною і всі людські знання будуть засвоєні нею, вона буде зіткнутися з критичною точкою—— Людям більше нічого навчити ШІ.

Мене найбільше цікавить, що станеться, якщо штучний інтелект подолає цю критичну точку? Якщо група штучного інтелекту, яка засвоїла існуючі знання людей, буде говорити, досліджувати та навчатися разом, чи будуть вони створювати нові знання?

Можливо, коли цей час настане, ми, люди, дізнаємося нові знання від штучного інтелекту, а штучний інтелект потягне людей поплавати в новому океані знань. "