Büyük Qingliu Cohere modeli nasıl yaratıldı?

Kaynak: Shidao

Resim kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur

Bu sayının içeriğinin özeti:

20 yaşında 1 erkek çocuk, üretken yapay zeka çağını başlatan önemli makalelere katıldı 2 Teknolojiyle oynamayı seven Çinli bir girişimci ve yetenekli bir çocuk ortaklaşa Cohere'i kurdu 3 Yapay zeka hangi riskleri getirecek ve gelecekteki en büyük fırsatları neler?

Temel büyük modeller alanında küresel rekabet hala devam ediyor. On milyarlarca dolar toplayan OpenAI şüphesiz bu konuda öncülerden biri. Onun muhteşem uygulaması ChatGPT'nin yüz milyonlarca aktif kullanıcısı var. Kuşkusuz bunu başarmak zor. onunla kafa kafaya yarışın.

Değeri 2 milyar ABD doları olan bir yapay zeka tek boynuzlu atı, temel büyük modellerin rekabetinde farklı bir yol buldu ve büyük model girişimciliğin yakın dövüşünde yeni bir soluk haline geldi.

Bu tek boynuzlu at, çığır açan "İhtiyacınız Olan Tek Şey Dikkat" makalesinin en genç yazarı Aidan Gomez ve Toronto Üniversitesi mezunlarından ikisi Ivan Zhang ve Nick Frosst tarafından ortaklaşa kurulan Cohere'dir.

Cohere kısa süre önce C Serisi finansmandan 270 milyon ABD Doları aldı ve bu da kümülatif finansman tutarını 430 milyon ABD Dolarının üzerine ve değerlemeyi 2,1 milyar ABD Dolarının üzerine çıkardı. Yatırımcı listesinde Salesforce, NVIDIA ve Oracle gibi kurumsal devler, Tiger Global ve Index Ventures gibi önde gelen yatırım kurumlarının yanı sıra Geoffrey Hinton (derin öğrenmenin üç devi ve Turing Ödülü sahibi) gibi tanınmış yapay zeka uzmanları yer alıyor. Ödülü) ve Li Feifei. Ortakları arasında Amazon, McKinsey vb. de bulunmaktadır.

Cohere neden büyük model girişimcilik mücadelesinde yeni bir nefes alıyor?

Ürünler açısından, kurumsal düzeydeki müşterilere hizmet vermeye odaklanır. Güçlü büyük model Command'a dayanarak, kurumsal düzeyde kelime işlem, bilgi Soru-Cevap ve diğer işlevleri sağlar ve modelde ince ayar yapılabilir ve özelleştirilebilir. Ayrıca kurumsal düzeyde bir bilgi asistanı olan Coral'ı piyasaya sürdü.

Güvenlik açısından kurumsal müşterilerin şüphelerini ortadan kaldırmak amacıyla ürünleri çoklu bulutta ve şirket içinde kurulabiliyor ve yüksek düzeyde veri gizliliğine sahip.

Finansman stratejisi açısından kendi endüstri zincirine bağlı büyük şirketlerden para almayı ve kendisini geliştirmek için devlerin gücünü kullanmayı tercih ediyor ancak devlere bağlı değil (OpenAI ile Microsoft arasındaki ilişkiye bakın).

Tanınmış bir yapay zeka tek boynuzlu atı olarak Cohere'in ürünleri ve kurumsal rekabet avantajları kapsamlı bir şekilde incelenmiştir. Cohere'in geçmişini çözmek için Cohere'in iki kurucusu Aidan Gomez ve Ivan Zhang ile yapılan çok sayıda röportajı materyal olarak kullanarak konuya girişimcilerin perspektifinden yaklaşmaya çalıştık. 0'dan 1'e kadar olan geliştirme sürecinin yanı sıra iki girişimci Aidan ve Ivan'ın işletmeler ve yapay zeka hakkındaki birçok görüşü.

*Not: Bu makaledeki materyaller, Cohere yatırımcısı ile Madrona ortağı Jon Turow, Weights&Bias kurucusu Lukas Biewald, tanınmış medya insanı Steven Marsh ve Cohere'in iki kurucu ortağı Aidan Gomez ve Ivan Zhang arasındaki konuşmalardan alınmıştır. *

20 yaşındaki genç, üretken yapay zeka çağını başlatan önemli bir makaleye katıldı

Aidan Gomez, büyük dil modelleri alanında "İhtiyacınız Olan Tek Şey Dikkat" adlı ufuk açıcı makalenin en genç yazarıdır. O sırada Toronto Üniversitesi'nden Google Brain'e stajyerlik yapmak için gitti. Henüz 19-20 yaşlarında lisans öğrencisiydi. Bu onun Amerikan teknoloji dünyasındaki ilk deneyimiydi.

Aidan Gomez, Toronto Üniversitesi'nde

Google'daki staj danışmanı, "İhtiyacınız Olan Tek Şey Dikkat" kitabının ana yazarlarından biri olan Lukasz Kaiser'di. O dönemde ortaklaşa, büyük sinir ağlarının eğitimi için bir yazılım platformu olan Tensor'u kurdular ve aynı zamanda bir yapay zeka modelinin de eğitimini veriyorlardı. Buradaki fikir, bir veri kümesinden birçok şeyi yapmayı öğrenebilen devasa bir yapay zeka modeli yetiştirmektir. Bunun eğitimi, resimler, metinler ve hatta videolar da dahil olmak üzere birden fazla yöntemdeki veri kümelerinin kullanılmasını gerektirir.

O zamanlar Aidan ve Noam Shazeer (aynı zamanda Transformer makalesinin yazarı) "öğrencilerdi". Noam da büyük dil modelleri üzerinde çalışıyordu ancak çalıştığı algoritma RNN'ydi (Yinelenen Sinir Ağı). Noam'ın hedefi RNN'den daha basit, daha gelişmiş ve daha ölçeklenebilir yeni bir mimari bulmaktır.

Böylece Lukasz, Aidan ve Noam anlaştılar ve bu araştırmayı birlikte yapmayı planladılar. Daha sonra Google Brain çeviri grubundan Niki Parmar, Jakob Uszkoreit ve Ashish Vaswani'nin de kendileriyle benzer fikirlere sahip olduğunu keşfettiler. İki grup birleştikten sonra herkes birlikte çalıştı. Kapsamlı araştırmaların ardından son parça olan "İhtiyacınız Olan Tek Şey Dikkat" doğdu.

Makale sabahın erken saatlerinde ofiste yalnızca iki kişi, Aidan ve Ashish varken teslim edildi. Taslak teslim edildikten sonra heyecana kapıldılar. Ashish bu makalenin çok büyük bir etkiye sahip olabileceğini öngördü ancak genç Aidan ilk kez önemli bir makale sunuyor ve bu makalenin önemini henüz bilmiyor. New Yorker köşe yazarı Steven Marsh ile yaptığı röportajda söylediği gibi: "Kimsenin bunun gelecekte ne olacağını öngördüğünü sanmıyorum."

Stajının ardından Toronto Üniversitesi'ne döndükten sonra Transformer modelinin pratik etkisi onu gerçekten şaşırttı.

"O zamanlar Toronto Üniversitesi'nde yaz araştırması yapıyordum ve daha sonra Lukasz'dan konu başlığı "Şuna bakın" olan bir e-posta aldım. E-postanın içeriği bir Japon punk rock grubu hakkında bir hikayeydi. Story'de nasıl grup kurdukları ve nasıl albüm çıkardıkları anlatıldı.Sonra dağılma sürecinden pişmanlık duyduğunu belirten Lukasz, e-postanın sonunda şunları yazdı: 'Girdiğim tek kelime transformatördü ve model otomatik olarak hikayeyi oluşturdu.'

Makine tarafından oluşturulan bu metni okuduktan sonra bunun bir ürün devrimi başlatacağını düşünüyorum. Çünkü ilk kez insan dışı bir sistem, dili biz insanlar kadar ilgi çekici bir şekilde kullanıyor. " dedi Aidan, Steven Marsh'a.

Büyük model evrim ağacı

"İhtiyacınız Olan Tek Şey Dikkat" ve Transformer doğduğunda, bu yenilikçi model yapay zeka topluluğu tarafından hızla benimsendi ve yeni bir teknik standart haline geldi. Yapay zeka araştırmacıları arasında bir çılgınlık yarattı ve BERT ve GPT gibi Transformer'a dayalı güçlü modeller sürekli olarak ortaya çıkıyor. 2022'nin sonunda ChatGPT, üretken yapay zeka patlamasını resmi olarak başlattı.

Teknolojiyle oynamayı seven Çinli bir girişimci ve yetenekli bir çocuk ortaklaşa Cohere'i kurdu

Cohere'in kurucu ortağı Ivan Zhang, alışılmadık bir yapay zeka araştırmacısı ama tipik bir girişimci. O ve Aidan, Toronto Üniversitesi mezunlarıdır ve daha sonra Aidan'la iş kurmak için okulu bıraktılar. "Ben bir yaratıcıyım. Sınıfta oturup bir sürü bilgiyi özümsemekten hoşlanmıyorum. Bunu kendim yapmalı ve 'teknolojiyle oynayarak' öğrenmeliyim. Bu benim için öğrenmenin en iyi yolu." Cohere'e böyle yatırım yaptı Jon Turow kendini tanıtıyor.

Ivan Zhang, Cohere'in kurucu ortağı

Araştırmacıdan girişimciye, ToC'den ToB'ye

Ivan, 2017 yılında Toronto Üniversitesi'nden ayrıldıktan sonra yeni kurulan bir şirkette arka uç mühendisi olarak çalıştı ve bu sırada Aidan Gomez ile tanıştı. O dönemde Aidan, ilgi odaklı yapay zeka araştırmaları yürütmek ve yenilikçi fikirlerini doğrulamak için bağımsız bir yapay zeka araştırma grubu kurmak istedi ve FOR.ai'yi birlikte kurdular. Bu organizasyon şu anda hala faaliyet göstermektedir ve Cohere For AI olarak adlandırılmaktadır. Yapay zeka alanında çalışan bir dizi araştırmacı bilim adamından oluşmaktadır ve esas olarak yapay zeka üzerine temel araştırmalar yürütmektedir.

2019'da Ivan, Aidan'a şunu teklif etti: "Neden birlikte yeni bir şeyler yapmıyoruz?" Böylece FOR.ai'den bağımsız hale geldiler ve daha resmi bir iş kurmaya başladılar. Bu aşamada zaten girişimcilik deneyimine sahipler, bir organizasyonu yönetmenin doğru yolunu anlıyorlar ve yapay zeka alanında birçok kurucuyla tanışmışlar.

Cohere'in ilk günlerinde ilk fikirleri, geliştiricilerin yapay zeka modellerini yüklemesine olanak tanıyan bir yapay zeka temel platformu oluşturmaktı ve ardından platform, modeli daha verimli hale getirmek için modelin boyutunu sıkıştıracaktı. Ancak o dönemde üretken yapay zeka çılgınlığı henüz ortaya çıkmamıştı ve pazar hâlâ çok küçüktü.

Makalenin yazarı olarak Aidan, Transformer modelinin yapay zeka topluluğunda hızla gelişen gelişimini gözlemledi, metin işlemeyle ilgili çeşitli sorunları çözdüğünü gördü ve geliştiricilerin bu mimariyi geliştirdiğini gördü. O dönemde OpenAI'nin GPT-2'si piyasaya sürüldü ve Transformer modelinin parametreleri 1 milyarı aştı.Bu aynı zamanda Aidan'ın model ölçeğinin önemini ve bu model mimarisinin gerçek potansiyelini daha da fark etmesini sağladı.

Sonuç olarak, birçok kurucu Cohere'i bir model sıkıştırma platformundan temel büyük modellere ve hizmetlere dönüştürdü.

"GPT-2'yi deneyimledikten sonra bunun çok harika olduğunu gördük, ancak GPT gibi temel yapay zeka modelleri kullanılarak hangi hizmetlerin oluşturulabileceğinden emin değiliz. İlk olarak Cohere'in otomatik metin tamamlama aracı olan ilk projesini oluşturmaya çalıştık. Chrome tarayıcı uzantısı biçimindedir. Kullanıcıların metin kutusuna yalnızca bir parça metin girmesi yeterlidir ve otomatik olarak tamamlanmaya devam edebilir. Başlangıçta reklamları para kazanmak için kullanmayı planladık. (Not: Bu bir ToC işidir) model).Fakat biz açıkçası bir tüketici ürünü oluşturmanın zorluğunu hafife aldık.Bu ürünün deneyimi iyi değil ve çok fazla kullanıcı kazanmadı.Bu yönde rekabet avantajımızın olmadığını anlıyoruz.

Bu nedenle, kurumsal düzeyde API hizmetleri sağlamak için ToC'den ToB'ye geçerek ön uç arayüzünü sökmeye ve yalnızca arka uç model yeteneklerini sağlamaya karar verdik. O zamanlar, NLP kullanım durumlarının %99'u kelime yerleştirme ve modelde ince ayar gerektiriyordu; bu nedenle birkaç ay içinde modeli yerleştirebilecek ve modele ince ayar yapabilecek yapay zeka oluşturma yeteneklerine sahip bir API platformu oluşturduk. ” Ivan, Cohere'in dönüşümünün ardındaki düşünceyi Jon Turow ile paylaştı.

Cohere'in neden ToB'ye ve şirketin misyonunun özüne yöneldiği konusunda Aidan Gomez net bir açıklama yaptı: "Biz sadece büyük yapay zeka modellerini daha fazla insan tarafından kullanılacak hale getirmek istiyoruz. O zamanlar geliştiriciler ve işletmeler bu yeteneklerin avantajlarından yararlanmak istiyordu. Teknoloji ve bilgi işlem gücü açısından birçok engel var.Varlığımızın anlamı, insanların büyük yapay zeka modellerini kullanmasının önündeki engelleri kaldırmak, böylece yapay zekaya aşina olmayan geliştiricilerin yanı sıra yapay zekaya aşina olmayan geliştiricilerin de sıradan işletmeler yapay zeka yeteneklerini kolaylıkla kullanabilir.

Çünkü üretken yapay zekaya özgü konuşma etkileşimi, son kullanıcılar için en iyi deneyimdir. Kendimi örnek alırsam, banka hesabı açmak istediğimde bir bankanın benimle 24 saat etkileşim kurabileceği, sorunları verimli bir şekilde çözebileceği bir mobil uygulaması olursa benim için çok daha çekici olur.

Cohere tam da bunu yapmak için burada ve her türden işletme ve kuruluşun rekabet avantajlarını artırmak için üretken yapay zekanın gücünden yararlanmasına yardımcı oluyor.

Cohere, kurumsal müşterilerin kendi verileriyle modellerde ince ayar yapmalarına olanak tanır

İşletmeler yapay zeka yeteneklerini benimsediğinde, model barındırma ve veri gizliliği olmak üzere iki konu hakkında da soruları olacak. Çoklu bulut barındırmayı destekliyoruz. İşletmeler kendilerine uygun bulut hizmetini seçebilir veya yerel bir sunucuya dağıtabilir. Veri gizliliğine de büyük önem veriyoruz.Kurumlar, model ince ayarı için kendi verilerini kullandıklarında, ister bulutta isterse yerel bir sunucuda konuşlandırılsınlar, onların verilerini görmeyiz.Bu bizim temel özelliklerimizden biridir. "

Eklektik yetenek stratejisi Cohere'in yüksek yaratıcılığını şekillendiriyor

Cohere'in hızla dönme ve ilk aşamalarda doğru konumu bulma yeteneği, Ivan ve Aidan'ın FOR.ai'den bu yana biriktirdiği yetenek bakış açısı ve girişimcilik felsefesinden ayrılamaz. Ivan, Jon Turow ile konuşurken yetenek işe alım felsefesini ve girişimcilik kültürünü paylaştı: "Bizim işe alma yöntemimiz farklı. FOR.ai işe başladığında bir prensip oluşturduk: farklı geçmişlere sahip insanları arıyoruz, ama çok yetenekli birini arıyoruz." AI ile ilgileniyor ve büyük bir etki yaratmak istiyor.

Meta AI, DeepMind veya Google'da çalışmak için mükemmel bir altyapıya sahip olmanıza gerek yok ancak odaklandığınız alana ilginizin ve heyecanınızın çok yüksek olması gerekiyor. Ve sadece makale yazmakla kalmaz, aynı zamanda pratik becerilere de sahip olursunuz. Bu işe alma yaklaşımını Cohere'a taşıdık ve çok güçlü bir erken aşama ekibi kurduk.

Şirket kültürü açısından, teknolojide çok fazla araştırma yapmayı, 'teknolojiyle oynamayı' ve ardından atılımlar yapmayı seviyoruz. Hepimiz makale yazsak da 'inek' değiliz. Ne yapmamız gerektiğine dair çok net bir fikrimiz var ve sadece algoritma araştırmasından ziyade mühendislik uygulamalarına çok zaman harcıyoruz. Bu bize, insanlara gerçekten fayda sağlayabilir. "

Artık OpenAI, üretken yapay zekanın C pozisyonunu işgal ettiğine göre, hâlihazırda yüz milyonlarca aktif kullanıcıya sahip olan ChatGPT, OpenAI'nin bunu tekeline almasına yardımcı olacak mı?Diğer şirketlerin hâlâ fırsatları var mı? Aidan Gomez'in kendi görüşü var: "Büyük model alanında tekel olacağını kesinlikle düşünmüyorum. Her firmanın kendine has tarzı, yönü ve avantajları olduğunu ve pazarda kendi yerini bulacağını düşünüyorum. Tüketici ve kurumsal müşteriler En iyi ortağı, en güvenilir şirketi ve başarılı olmalarına en iyi şekilde yardımcı olabilecek platformu seçeceklerdir.

Cohere gibi temel model şirketler için karşı karşıya olduğumuz son durum muhtemelen kazananın her şeyi alması değil, çeşitlendirilmiş bir pazar yapısı olacaktır. Kendi oyunlarımızı kazanmak için kendi avantajlarımıza güveneceğiz. Müşterilerin en iyi yapay zeka yeteneklerini kullanabilmelerine yardımcı olmak için çeşitli yöntemler kullanacağız. Odak noktamız, yapay zeka modelinin, belirli müşterilerin istemler ve ince ayarlar da dahil olmak üzere çeşitli yöntemlerle maksimum değer elde etmesine yardımcı olmasını sağlamaktır. "

Yapay zeka hangi riskleri beraberinde getiriyor ve gelecekteki en büyük fırsatları neler?

Üretken yapay zekanın patlaması memnuniyetle karşılansa da pek çok endişeye de yol açtı. Kamu düzeyinde insanlar, yapay zekanın çok hızlı gelişip çok güçlü olup olmayacağı, dolayısıyla insanların iş fırsatlarını "çalacağı" konusunda endişeleniyor; pratik düzeyde ise birçok kişi, yapay zeka modellerinin güvenliği ve kontrol edilebilirliği konusunda endişeleniyor.

Aidan Gomez ve Ivan Zhang da bu konu hakkında görüşlerini dile getirdi.

Yapay zeka sosyal medyayı "kirletebilir"

Aidan Gomez'in görüşü daha sosyal: Sosyal medyanın yapay zeka tarafından oluşturulan içerikle "kirlenmesinin" endişe verici olduğunu söyledi: "Uzun yıllar gerçekleşmeyecek olan, insan dışı zekanın insanların yerini alması konusunda endişelenmek yerine, bunun bedelini ödemeliyiz. mevcut gerçek risklere dikkat.

Örneğin, yapay zekanın sosyal medyamıza ve kamuya açık konuşmalarımıza sorunsuz bir şekilde giren ve ardından belirli bir bakış açısını (bu bakış açısının yararlı mı yoksa zararlı mı) öne çıkaran milyonlarca bot üretmesi çok mümkündür. Bunun, toplum üzerinde önemli bir etkisi olabilecek bazı kamusal konularda öngörülemeyen sonuçları olabilir.

Dolayısıyla bu konudaki riskleri tartmalıyız ve bu riski azaltmak için özel politikalara sahip olmak en iyisidir. Örneğin, insanların, okuduğumuz medya içeriğinin veya pazarlama içeriğinin insanlar tarafından mı oluşturulduğunu yoksa makineler tarafından mı sentezlendiğini bilme hakkı vardır. "

Ivan Zhang'ın görüşü nispeten gerçekçi: Yapay zekanın iki büyük zorlukla karşı karşıya olduğuna inanıyor: "Yapay zekanın karşılaştığı zorluklar için, müşterilerden elde ettiğimiz bilgiler öncelikle üretken yapay zeka modellerinin yeteneğinin nasıl değerlendirileceğiyle ilgilidir. İki yapay zeka modelini doğru bir şekilde karşılaştırmak. Yetenek kolay değil ve metin oluşturma açısından bu karşılaştırma muhtemelen subjektif olacak ve bu, üretken yapay zekanın ticari olarak benimsenmesinin önünde bazı engeller yaratacaktır.

Diğer bir zorluk ise veri gizliliği meselesidir: Ticari kullanım için büyük açık kaynak veya kapalı kaynak modelleri kullanırken bazen bazı hassas verileri kullanırsınız ve bu da uyumluluk sorunları yaratır. Örneğin, hassas bir e-posta yazmanıza yardımcı olması için yapay zekayı kullanırken, modele girdiğiniz hassas verilerin kötüye kullanılmasından endişe eder misiniz? Elbette bu endişe bizim için bir fırsata dönüşüyor ve bu sorunu çözmek için Oracle ile birlikte çalışıyoruz. "

Somutlaşmış zeka, gelecekte yapay zeka için büyük bir fırsattır

Aidan Gomez ve Ivan Zhang'ın her ikisi de yapay zeka uzmanı ve girişimci. Yapay zekanın gelecekteki yeni yönelimleri ve fırsatları hakkındaki görüşleri de dikkate değer.

Her şeyden önce, hepsi farklı vesilelerle aynı teknolojiden, yani somutlaştırılmış zekadan, yani üretken yapay zekanın yeteneklerinin somut makinelere enjekte edilmesinden bahsetti.

Aidan, Lukas Biewald'a şunları söyledi: "Bence üretken yapay zekanın robot bilimine ve materyalizasyona uygulanması gerçekten harika ve bu yönde çok güçlü bir talep var. Hepimiz yüksek zekaya ve esnek bedenlere sahip robotların neler yapabileceğini hayal etmiştik. Peki ya - o Kesinlikle çok büyük bir değişim yaratacak. Ancak bu yönde hala gidilecek uzun bir yol var ve umarım bu yönde bir etki yaratabilirim ve bununla ilgili bir şeyler yapmaya çalışabilirim."

Ivan ayrıca somutlaştırılmış zekanın yapay zekanın bir sonraki aşaması için kesinlikle büyük bir fırsat olduğuna inanıyor: "Bence en büyük fırsat, varlıkları etkileyebilecek 'eylem modeli'. Yapay zekayı mühendislik ve fiziksel ürünlerle birleştirmek çok heyecan verici olacak. Kesinlikle olacak. Birçok firmanın bunlarla ilgilenmesi gerekiyor. Ancak bu teknolojinin hayata geçebilmesi için modelin doğruluğunun daha da geliştirilmesi gerekiyor."

Ayrıca Aidan, yapay zekanın akıllı gelişimi ve gelecekteki uygulamaları için daha uzun vadeli bir vizyon da ortaya koydu: "Artık yapay zeka modellerinin inşası insanlara dayanıyor. Yapay zekayı daha akıllı hale getirmek için çeşitli üst düzey insan bilgilerini kullanacağız. onu eğitin. Örneğin, bu çok akıllı bir kişiden o kadar da akıllı olmayan bir yapay zekaya öğretmesini istemek gibidir. Daha sonra gelecekte, eğer yapay zeka modeli çok akıllı hale gelirse ve insanlığın tüm bilgisi onun tarafından öğrenilirse, Kritik bir noktayla karşı karşıyayız—— İnsanların yapay zekaya öğretecek hiçbir şeyi kalmadı.

En çok ilgilendiğim şey, yapay zeka bu kritik noktayı aşarsa ne olur? İnsanların mevcut bilgilerini öğrenen bir grup yapay zeka birlikte konuşur, keşfeder ve öğrenirse yeni bilgiler üretebilecekler mi?

Belki bu zaman geldiğinde biz insanlar yapay zekadan yeni bilgiler öğreneceğiz ve yapay zeka, insanları yeni bilgi okyanusunda yüzmeye götürecek. "