Bagaimana model besar Qingliu Cohere diciptakan?

Sumber: Shidao

Sumber gambar: Dihasilkan oleh AI Tanpa Batas

Ringkasan konten untuk edisi ini:

1 anak laki-laki berusia 20 tahun berpartisipasi dalam makalah penting yang mengantarkan era AI generatif 2 Seorang pengusaha Tiongkok yang suka bermain-main dengan teknologi dan seorang anak berbakat bersama-sama mendirikan Cohere 3 Resiko apa saja yang ditimbulkan oleh AI, dan apa peluang terbesarnya di masa depan?

Persaingan global di bidang model dasar besar masih berlangsung. OpenAI, yang telah mengumpulkan puluhan miliar dolar, tidak diragukan lagi adalah salah satu yang terdepan. Aplikasi hebatnya, ChatGPT, memiliki ratusan juta pengguna aktif. Tidak diragukan lagi sulit untuk bersaing langsung dengannya.

Unicorn AI dengan valuasi sebesar US$2 miliar telah menemukan jalur berbeda dalam kompetisi model dasar berukuran besar, dan menjadi angin segar dalam persaingan kewirausahaan model besar.

Unicorn ini adalah Cohere, yang didirikan bersama oleh Aidan Gomez, penulis termuda dari makalah inovatif "Attention is All You Need", dan dua alumni Universitas Toronto, Ivan Zhang dan Nick Frosst.

Cohere baru-baru ini menerima pembiayaan Seri C sebesar US$270 juta, sehingga jumlah pembiayaan kumulatif menjadi lebih dari US$430 juta dan penilaian lebih dari US$2,1 miliar. Daftar investornya mencakup perusahaan raksasa seperti Salesforce, NVIDIA, dan Oracle, lembaga investasi terkemuka seperti Tiger Global dan Index Ventures, serta pakar AI terkenal seperti Geoffrey Hinton (tiga raksasa pembelajaran mendalam dan pemenang Turing Penghargaan) dan Li Feifei. Mitranya juga termasuk Amazon, McKinsey, dll.

Mengapa Cohere memberikan angin segar di tengah hiruk pikuk kewirausahaan model besar?

Dalam hal produk, ia berfokus pada melayani pelanggan tingkat perusahaan. Berdasarkan model Command yang besar dan kuat, ia menyediakan pemrosesan kata tingkat perusahaan, Tanya Jawab pengetahuan, dan fungsi lainnya, dan model tersebut dapat disesuaikan dan disesuaikan. Selain itu, mereka meluncurkan Coral, asisten pengetahuan tingkat perusahaan.

Dalam hal keamanan, untuk menghilangkan keraguan pelanggan perusahaan, produk-produknya dapat diterapkan di multi-cloud dan lokal, serta memiliki privasi data tingkat tinggi.

Dalam hal strategi pembiayaan, mereka lebih memilih mengambil uang dari perusahaan besar yang terkait dengan rantai industrinya sendiri dan menggunakan kekuatan raksasa untuk mengembangkan dirinya, namun tidak terikat dengan raksasa (merujuk pada hubungan antara OpenAI dan Microsoft).

Sebagai unicorn AI ternama, produk dan keunggulan kompetitif perusahaan Cohere telah dipelajari secara menyeluruh. Kami mencoba mendekatinya dari sudut pandang wirausaha, menggunakan beberapa wawancara dengan dua pendiri Cohere, Aidan Gomez dan Ivan Zhang sebagai bahan untuk memilah sejarah Cohere. Proses pengembangan dari 0 ke 1, serta banyaknya wawasan kedua pengusaha Aidan dan Ivan tentang enterprise dan AI.

*Catatan: Materi dalam artikel ini berasal dari percakapan antara investor Cohere dan mitra Madrona Jon Turow, pendiri Weights&Bias Lukas Biewald, awak media terkenal Steven Marsh, dan dua pendiri Cohere Aidan Gomez dan Ivan Zhang. *

Remaja berusia 20 tahun ini berpartisipasi dalam makalah penting yang membuka era AI generatif

Aidan Gomez adalah penulis termuda dari makalah penting "Attention is All You Need" di bidang model bahasa besar. Saat itu, ia membuka Google Brain dari Universitas Toronto untuk magang. Usianya masih sekitar 19 atau 20 tahun sebagai sarjana. Ini adalah pengalaman pertamanya di dunia teknologi Amerika.

Aidan Gomez di Universitas Toronto

Mentor magangnya di Google adalah Lukasz Kaiser, salah satu penulis utama "Attention is All You Need." Saat itu, mereka bersama-sama membangun Tensor, sebuah platform perangkat lunak untuk melatih jaringan saraf besar, dan mereka juga melatih model AI. Idenya adalah untuk melatih model AI besar yang dapat belajar melakukan banyak hal dari kumpulan data. Pelatihan ini memerlukan penggunaan kumpulan data dalam berbagai modalitas, termasuk gambar, teks, dan bahkan video.

Saat itu, Aidan dan Noam Shazeer (juga penulis makalah Transformer) masih menjadi "siswa". Noam juga sedang mempelajari model bahasa besar, namun algoritma yang dipelajarinya adalah RNN (Recurrent Neural Network). Tujuan Noam adalah menemukan arsitektur baru yang lebih sederhana, lebih halus, dan lebih skalabel dibandingkan RNN.

Jadi Lukasz, Aidan, dan Noam cocok dan berencana melakukan penelitian ini bersama-sama. Kemudian mereka menemukan bahwa Niki Parmar, Jakob Uszkoreit, dan Ashish Vaswani dari grup terjemahan Google Brain memiliki ide serupa. Setelah kedua kelompok bergabung, semua orang bekerja sama Setelah penelitian ekstensif, lahirlah karya terakhir "Yang Anda Butuhkan Perhatian".

Makalah tersebut diserahkan pada dini hari, saat hanya ada dua orang di kantor, Aidan dan Ashish. Setelah naskah diserahkan, mereka larut dalam kegembiraan. Ashish telah memperkirakan bahwa makalah ini mungkin memiliki dampak yang besar, namun Aidan muda baru pertama kali mengirimkan makalah penting dan belum mengetahui pentingnya makalah ini. Seperti yang dia katakan dalam sebuah wawancara dengan kolumnis New Yorker Steven Marsh: "Saya rasa tidak ada yang meramalkan apa yang akan terjadi di masa depan."

Dia sangat terkejut dengan dampak praktis model Transformer setelah kembali ke Universitas Toronto setelah magang.

Saat itu, saya sedang melakukan penelitian musim panas di Universitas Toronto, dan kemudian saya menerima email dari Lukasz dengan subjek "Lihat ini". Isi email tersebut adalah cerita tentang band punk rock Jepang. cerita mencatat bagaimana mereka membentuk grup dan bagaimana mereka merilis album. Kemudian dia menyesali proses pembubarannya. Di akhir email, Lukasz menulis: 'Satu-satunya kata yang saya masukkan adalah transformator, dan model secara otomatis menghasilkan cerita.'

Setelah membaca teks yang dihasilkan mesin ini, saya pikir ini akan memulai revolusi produk. Karena untuk pertama kalinya, sistem non-manusia menggunakan bahasa dengan cara yang sama menariknya dengan kita sebagai manusia. kata Aidan pada Steven Marsh.

Pohon evolusi model besar

Ketika "Attention is All You Need" dan Transformer lahir, model inovatif ini dengan cepat diadopsi oleh komunitas AI dan menjadi standar teknis baru. Hal ini telah memicu kegemaran di kalangan peneliti AI, dan model canggih berdasarkan Transformer terus bermunculan, seperti BERT dan GPT. Pada akhir tahun 2022, ChatGPT secara resmi memulai booming AI generatif.

Seorang pengusaha Tiongkok yang suka bermain-main dengan teknologi dan seorang anak berbakat bersama-sama mendirikan Cohere

Ivan Zhang, salah satu pendiri Cohere, adalah peneliti AI yang tidak biasa, tetapi tipikal wirausaha. Dia dan Aidan adalah alumni Universitas Toronto, dan kemudian putus sekolah untuk memulai bisnis dengan Aidan. "Saya seorang pencipta. Saya tidak terlalu suka duduk di ruang kelas dan sekadar menyerap banyak informasi. Saya perlu melakukannya sendiri dan belajar sambil 'bermain dengan teknologi'. Ini adalah cara terbaik bagi saya untuk belajar." Beginilah cara dia berinvestasi di Cohere Jon Turow memperkenalkan dirinya.

Ivan Zhang, salah satu pendiri Cohere

Dari peneliti menjadi pengusaha, dari ToC menjadi ToB

Ivan bekerja sebagai back-end engineer di sebuah perusahaan startup setelah drop out dari University of Toronto pada tahun 2017. Saat itulah ia bertemu dengan Aidan Gomez. Saat itu, Aidan ingin membentuk kelompok penelitian AI independen untuk melakukan penelitian AI berdasarkan minat dan memverifikasi ide-ide inovatifnya, jadi mereka memulai FOR.ai bersama-sama. Organisasi ini masih berjalan hingga saat ini bernama Cohere For AI yang terdiri dari sejumlah ilmuwan peneliti di bidang AI dan terutama melakukan penelitian dasar tentang AI.

Pada tahun 2019, Ivan melamar Aidan: “Mengapa kita tidak melakukan sesuatu yang baru bersama-sama?” Sehingga mereka menjadi mandiri dari FOR.ai dan memulai bisnis yang lebih formal. Pada tahap ini mereka sudah memiliki pengalaman berwirausaha, memahami cara menjalankan organisasi yang benar, dan sudah banyak bertemu dengan para pendiri di bidang AI.

Pada masa awal Cohere, ide pertama mereka adalah membangun platform dasar AI yang memungkinkan pengembang mengunggah model AI, lalu platform tersebut akan memampatkan ukuran model agar model lebih efisien. Namun pada saat itu, kegemaran terhadap AI generatif belum tiba, dan pasarnya masih terlalu kecil.

Sebagai penulis makalah, Aidan mengamati perkembangan pesat model Transformer di komunitas AI, melihat bahwa model tersebut memecahkan berbagai masalah terkait pemrosesan teks, dan melihat pengembang meningkatkan arsitektur ini. Saat itu, GPT-2 OpenAI dirilis, dan parameter model Transformer melebihi 1 miliar, hal ini juga membuat Aidan semakin menyadari pentingnya skala model dan potensi nyata dari arsitektur model ini.

Hasilnya, beberapa pendiri mengubah Cohere dari platform kompresi model menjadi model dan layanan dasar yang besar.

“Setelah mencoba GPT-2, kami menemukan bahwa ini sangat keren, namun kami tidak yakin layanan apa yang dapat dibangun menggunakan model AI dasar seperti GPT. Kami pertama kali mencoba membangun proyek pertama Cohere, yang merupakan alat penyelesaian otomatis teks berbentuk ekstensi browser Chrome. Pengguna hanya perlu memasukkan sepotong teks ke dalam kotak teks, dan secara otomatis dapat melanjutkan melengkapinya. Awalnya kami berencana menggunakan iklan untuk menghasilkan uang. (Catatan: Ini adalah ToC model bisnis). Tapi kami Jelas kami meremehkan kesulitan membangun produk konsumen. Pengalaman produk ini tidak bagus, dan belum mendapatkan banyak pengguna. Kami memahami bahwa kami tidak memiliki keunggulan kompetitif dalam arah ini.

Jadi kami memutuskan untuk membongkar antarmuka front-end dan hanya menyediakan kemampuan model back-end, beralih dari ToC ke ToB untuk menyediakan layanan API tingkat perusahaan. Pada saat itu, 99% kasus penggunaan NLP memerlukan penyematan kata dan penyempurnaan model, jadi dalam beberapa bulan kami membangun platform API dengan kemampuan generasi AI yang dapat menyematkan dan menyempurnakan model. Ivan berbagi pemikiran di balik transformasi Cohere dengan Jon Turow.

Mengenai alasan Cohere beralih ke ToB dan inti misi perusahaan, Aidan Gomez membuat pernyataan yang jelas: "Kami hanya ingin menjadikan model AI besar yang dapat digunakan oleh lebih banyak orang. Pada saat itu, pengembang dan perusahaan ingin memanfaatkan kemampuan tersebut model AI yang besar, apapun kendalanya dari segi teknologi dan daya komputasi, arti dari keberadaan kami adalah untuk menghilangkan hambatan masyarakat dalam menggunakan model AI yang besar, sehingga developer yang belum familiar dengan AI, serta perusahaan biasa, dapat dengan mudah menggunakan kemampuan AI.

Karena interaksi percakapan yang unik pada AI generatif adalah pengalaman terbaik bagi pengguna akhir. Sebagai contoh, ketika saya ingin membuka rekening bank, jika bank dapat memiliki aplikasi seluler yang dapat berinteraksi dengan saya 24 jam sehari dan menyelesaikan masalah secara efisien, itu akan jauh lebih menarik bagi saya.

Cohere hadir untuk melakukan hal tersebut, membantu semua jenis bisnis dan organisasi memanfaatkan kekuatan AI generatif untuk meningkatkan keunggulan kompetitif mereka.

Cohere memungkinkan pelanggan perusahaan untuk menyempurnakan model dengan data mereka sendiri

Ketika perusahaan mengadopsi kemampuan AI, mereka juga akan memiliki pertanyaan mengenai dua masalah, yaitu model hosting dan privasi data. Kami mendukung hosting multi-cloud. Perusahaan dapat memilih layanan cloud yang sesuai atau menerapkannya di server lokal. Kami juga sangat mementingkan privasi data. Ketika perusahaan menggunakan data mereka sendiri untuk menyempurnakan model, baik yang diterapkan di cloud atau di server lokal, kami tidak akan melihat data mereka. Ini adalah salah satu fitur inti kami. "

Strategi bakat eklektik membentuk kreativitas tinggi Cohere

Kemampuan Cohere untuk melakukan pivot dengan cepat dan menemukan posisi yang tepat pada tahap awal tidak terlepas dari pandangan bakat dan filosofi kewirausahaan yang telah dikumpulkan Ivan dan Aidan sejak FOR.ai. Ivan berbagi filosofi rekrutmen bakat dan budaya kewirausahaan mereka ketika berbicara dengan Jon Turow: "Metode rekrutmen kami berbeda. Ketika FOR.ai memulai bisnis ini, kami menetapkan prinsip: kami mencari orang-orang dari latar belakang berbeda. , tetapi seseorang yang sangat tertarik pada AI dan ingin membuat dampak besar.

Anda tidak harus memiliki latar belakang yang sempurna bekerja di Meta AI, DeepMind atau Google, tetapi Anda harus memiliki minat dan antusiasme yang sangat tinggi pada bidang yang Anda fokuskan. Dan Anda tidak hanya bisa menulis makalah, tetapi juga memiliki keterampilan praktis. Kami membawa pendekatan perekrutan ini ke Cohere dan membangun tim tahap awal yang sangat kuat.

Dari segi budaya perusahaan, kami suka melakukan banyak eksplorasi teknologi, 'bermain-main dengan teknologi', lalu melakukan terobosan. Meskipun kami semua menulis makalah, kami bukan 'kutu buku'. Kami memiliki gagasan yang sangat jelas tentang apa yang harus kami lakukan, dan kami menghabiskan banyak waktu pada praktik teknik, bukan sekadar eksplorasi algoritme. Hal ini memungkinkan kami membuat produk yang benar-benar dapat membawa manfaat bagi masyarakat.nilai. "

Kini setelah OpenAI menempati posisi C dalam AI generatif, akankah ChatGPT yang sudah memiliki ratusan juta pengguna aktif membantu OpenAI memonopolinya? Apakah perusahaan lain masih mempunyai peluang? Aidan Gomez memiliki pendapatnya sendiri: "Saya sama sekali tidak berpikir bahwa akan ada monopoli di bidang model besar. Saya pikir setiap perusahaan memiliki gaya, arah, dan keunggulannya sendiri, dan akan menemukan tempatnya sendiri di pasar. Pelanggan konsumen dan perusahaan Mereka akan memilih mitra terbaik, perusahaan paling tepercaya, dan platform yang paling dapat membantu mereka meraih kesuksesan.

Bagi perusahaan model dasar seperti Cohere, keadaan akhir yang kita hadapi kemungkinan besar bukanlah pemenang yang mengambil semuanya, namun struktur pasar yang terdiversifikasi. Kami akan mengandalkan keunggulan kami sendiri untuk memenangkan pertandingan kami sendiri. Kami akan menggunakan berbagai metode untuk membantu pelanggan agar mereka dapat menggunakan kemampuan AI terbaik. Fokus kami adalah memungkinkan model AI membantu pelanggan tertentu mendapatkan nilai maksimal melalui berbagai metode termasuk petunjuk dan penyesuaian. "

Risiko apa saja yang ditimbulkan oleh AI, dan apa peluang terbesarnya di masa depan?

Ledakan AI generatif, meskipun disambut baik, juga telah menimbulkan banyak kekhawatiran. Di tingkat publik, masyarakat khawatir mengenai apakah AI akan berkembang terlalu cepat dan terlalu kuat, sehingga “mencuri” peluang kerja manusia; di tingkat praktis, banyak orang khawatir mengenai keamanan dan pengendalian model AI.

Aidan Gomez dan Ivan Zhang pun mengutarakan pendapatnya mengenai topik ini.

AI mungkin “mencemari” media sosial

Pandangan Aidan Gomez lebih bersifat sosial. Dia mengatakan bahwa “polusi” media sosial oleh konten yang dihasilkan AI patut mendapat perhatian: “Daripada mengkhawatirkan kecerdasan non-manusia yang akan menggantikan manusia, yang mungkin tidak akan terjadi selama bertahun-tahun, kita sebaiknya membayar memperhatikan risiko nyata saat ini.

Misalnya, sangat mungkin AI dapat menghasilkan jutaan bot yang dengan mulus memasuki media sosial dan percakapan publik kita dan kemudian mendorong sudut pandang tertentu (apakah sudut pandang tersebut bermanfaat atau merugikan). Hal ini mungkin menimbulkan konsekuensi yang tidak terduga pada beberapa masalah publik yang dapat berdampak signifikan terhadap masyarakat.

Jadi kita harus mempertimbangkan risiko dari masalah ini, dan yang terbaik adalah memiliki kebijakan khusus untuk memitigasi risiko ini. Misalnya, masyarakat mempunyai hak untuk mengetahui apakah konten media atau konten pemasaran yang kita baca dibuat oleh manusia atau disintesis oleh mesin. "

Pandangan Ivan Zhang relatif realistis. Dia percaya bahwa AI menghadapi dua tantangan besar: “Untuk tantangan yang dihadapi AI, informasi yang kami peroleh dari pelanggan adalah yang pertama tentang bagaimana mengevaluasi kemampuan model AI generatif. Untuk membandingkan dua model AI secara akurat. Kemampuannya tidaklah mudah, dan dalam hal pembuatan teks, perbandingan ini cenderung bersifat subjektif, sehingga akan menimbulkan hambatan tertentu terhadap adopsi komersial AI generatif.

Tantangan lainnya adalah masalah privasi data. Saat menggunakan model sumber terbuka atau sumber tertutup yang besar untuk penggunaan komersial, terkadang Anda menggunakan beberapa data sensitif, yang pada gilirannya menimbulkan masalah kepatuhan. Misalnya, saat menggunakan AI untuk membantu Anda menulis email sensitif, apakah Anda khawatir data sensitif yang Anda masukkan ke dalam model akan disalahgunakan? Tentu saja kekhawatiran ini menjadi peluang bagi kami, dan kami bekerja sama dengan Oracle untuk mengatasi masalah ini. "

Kecerdasan yang diwujudkan adalah peluang besar bagi AI di masa depan

Aidan Gomez dan Ivan Zhang keduanya adalah pakar dan pengusaha AI. Pandangan mereka mengenai arah dan peluang baru AI di masa depan juga patut mendapat perhatian.

Pertama-tama, mereka semua menyebutkan teknologi yang sama pada kesempatan berbeda, yang merupakan perwujudan kecerdasan, yaitu menyuntikkan kemampuan AI generatif ke dalam mesin berwujud.

Aidan mengatakan kepada Lukas Biewald: "Saya rasa sangat keren menerapkan AI generatif pada robotika dan materialisasi, dan terdapat permintaan yang sangat kuat terhadap arah ini. Kita semua membayangkan apa yang akan dilakukan oleh robot dengan kecerdasan tinggi dan tubuh fleksibel. Bagaimana dengan itu - itu pasti akan menghasilkan perubahan besar. Namun jalan yang harus ditempuh ke arah ini masih panjang, dan saya juga berharap dapat memberikan pengaruh ke arah ini dan mencoba melakukan sesuatu yang terkait."

Ivan juga percaya bahwa kecerdasan yang diwujudkan jelas merupakan peluang besar untuk tahap selanjutnya dari AI: "Saya pikir peluang terbesar adalah 'model tindakan' yang dapat mempengaruhi entitas. Menggabungkan AI dengan produk teknik dan fisik akan sangat menarik. Pasti akan ada akan banyak perusahaan yang tertarik padanya. Namun, agar teknologi ini dapat terwujud, keakuratan modelnya perlu lebih ditingkatkan."

Selain itu, Aidan juga membuat visi jangka panjang untuk pengembangan cerdas dan penerapan AI di masa depan: "Sekarang pembangunan model AI bergantung pada manusia. Untuk menjadikan AI lebih cerdas, kami akan menggunakan berbagai pengetahuan manusia tingkat tinggi untuk melatihnya. Misalnya seperti meminta orang yang sangat pintar untuk mengajarkan AI yang tidak terlalu pintar. Lalu di masa depan, jika model AI menjadi sangat pintar dan semua pengetahuan manusia telah dipelajari olehnya, maka model tersebut akan menjadi sangat pintar. menghadapi titik kritis—— Manusia tidak punya apa-apa lagi untuk diajarkan pada AI.

Yang paling menarik perhatian saya adalah, apa yang terjadi jika AI berhasil menembus titik kritis ini? Jika sekelompok AI yang telah mempelajari pengetahuan manusia berbicara, menjelajah, dan belajar bersama, akankah mereka menghasilkan pengetahuan baru?

Mungkin ketika saatnya tiba, kita manusia akan mempelajari pengetahuan baru dari AI, dan AI akan membawa manusia berenang di lautan pengetahuan baru. "