Sam Altman dan Hinton debut di China! Acara pakar AI paling keras di China berhasil diselesaikan, dan model skala besar domestik "Enlightenment 3.0" sepenuhnya bersumber terbuka
【Pengantar Xinzhiyuan】 Konferensi Zhiyuan tahun ini masih bertabur bintang dan penuh nuansa akademis. Semua nama besar memperdebatkan AI super, dan benturan ide memicu percikan api.Ini masih Gala Festival Musim Semi AI yang tidak boleh dilewatkan!
Baru saja, Konferensi Zhiyuan "AI Festival Musim Semi Gala" domestik tahunan telah berhasil diselesaikan!
Pada acara puncak tahunan kecerdasan buatan ini, ada tim bintang yang sudah dikenal seperti OpenAI, DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI, dll., Ada Meta, Google, Microsoft, dan pabrikan besar lainnya yang telah menaklukkan dunia, dan di sana adalah Stanford, UC Berkeley , MIT dan universitas top lainnya di dunia.
Penulis karya-karya penting seperti GPT-4, PaLM-E, OPT, LLaMA, dll semuanya hadir dan menjelaskan hasil penelitiannya kepada kami. Konferensi ini dapat dikatakan memiliki kedalaman profesional dan inspirasi kreatif, dan setiap topik telah dibahas secara ekstrim.
Klimaks dari konferensi tidak diragukan lagi adalah pidato dari pemenang Penghargaan Turing Yann LeCun, Geoffrey Hinton, dan pendiri OpenAI Sam Altman.
Penampilan kelas berat super ini bisa dibilang penuh sorotan.
Geoffrey Hinton: Risiko Super AI mendesak
Dalam pidato utama penutup forum yang baru saja selesai, Hinton, pemenang Penghargaan Turing dan bapak pembelajaran mendalam, menyusun skenario yang patut dipikirkan untuk kita.
Di awal pidatonya, Hinton bertanya "Apakah jaringan syaraf tiruan lebih pintar dari jaringan syaraf asli?"
Ya, menurutnya, itu bisa terjadi dalam waktu dekat.
Seperti beberapa waktu lalu, Hinton mengundurkan diri dari Google dan menjelaskan alasan pengunduran dirinya secara singkat. Dia telah berbicara tentang penyesalan tentang pekerjaan seumur hidupnya dan kekhawatiran tentang bahaya kecerdasan buatan. Dia telah berulang kali menyatakan secara terbuka bahwa bahaya kecerdasan buatan bagi dunia lebih mendesak daripada perubahan iklim.
Demikian pula, di Konferensi Zhiyuan, Hinton berbicara tentang risiko AI lagi.
Bagaimana jika jaringan saraf besar yang berjalan di beberapa komputer digital dapat memperoleh pengetahuan langsung dari dunia, selain meniru bahasa manusia untuk pengetahuan manusia?
Jelas, itu akan menjadi jauh lebih baik daripada manusia karena telah mengamati lebih banyak data.
Ide ini tidak dibuat-buat, jika jaringan saraf ini dapat melakukan pemodelan gambar atau video tanpa pengawasan, dan salinannya juga dapat memanipulasi dunia fisik.
Dalam kasus yang paling ekstrim, penjahat menggunakan kecerdasan super untuk memanipulasi pemilih dan memenangkan perang.
Jika suatu superintelijen diizinkan untuk merumuskan subtujuannya sendiri, salah satu subtujuannya adalah untuk mendapatkan kekuatan lebih, maka superintelijen akan memanipulasi manusia yang menggunakannya untuk mencapai tujuan tersebut.
Tanya Jawab Puncak Zhang Hongjiang dan Sam Altman: AGI mungkin muncul dalam sepuluh tahun
Pagi ini, Sam Altman juga muncul melalui tautan video. Ini adalah pertama kalinya Sam Altman memberikan pidato publik di China setelah ChatGPT meledak.
Highlight:
Alasan mengapa revolusi AI saat ini begitu berdampak bukan hanya pada skala dampaknya, tetapi juga kecepatan kemajuannya. Ini membawa dividen dan risiko.
Dengan munculnya sistem AI yang semakin kuat, memperkuat kerja sama internasional dan membangun kepercayaan global adalah yang terpenting.
Penyelarasan masih merupakan masalah terbuka. GPT-4 telah menyelesaikan pekerjaan penyelarasan dalam 8 bulan terakhir, terutama mencakup skalabilitas dan penjelasan.
Dalam pidatonya, Altman berulang kali menekankan perlunya penyelarasan dan pengawasan keamanan AI global, dan secara khusus mengutip kalimat dari Tao Te Ching:
Perjalanan seribu mil dimulai dengan satu langkah.
Dalam pandangannya, kecerdasan buatan berkembang dengan kecepatan eksplosif, dan AI super mungkin muncul dalam sepuluh tahun mendatang.
Oleh karena itu, perlu untuk mempromosikan keamanan AGI, memperkuat kerja sama internasional, dan menyelaraskan penyebaran penelitian yang relevan.
Sam Altman percaya bahwa kerja sama dalam komunitas ilmiah dan teknologi internasional adalah langkah awal untuk mengambil langkah konstruktif saat ini. Secara khusus, transparansi dan mekanisme berbagi pengetahuan untuk kemajuan teknologi dalam keselamatan AGI harus ditingkatkan.
Selain itu, Altman menyebutkan bahwa tujuan penelitian utama OpenAI saat ini difokuskan pada penelitian penyelarasan AI, yaitu bagaimana menjadikan AI sebagai asisten yang berguna dan aman.
Salah satunya adalah pengawasan terukur, mencoba menggunakan sistem AI untuk membantu manusia dalam mengawasi sistem kecerdasan buatan lainnya. Yang kedua adalah interpretabilitas, mencoba memahami "kotak hitam" dari cara kerja model besar.
Pada akhirnya, OpenAI bertujuan untuk melatih sistem AI untuk membantu penelitian penyelarasan.
Setelah pidato tersebut, Zhang Hongjiang, ketua Zhiyuan Research Institute, dan Sam Altman membuka dialog udara untuk membahas bagaimana membuat penyelarasan AI yang aman.
Ketika ditanya apakah OpenAI akan membuka model besar open source, Altman mengatakan bahwa akan ada lebih banyak open source di masa mendatang, tetapi tidak ada model dan jadwal khusus.
Selain itu, ia juga mengatakan bahwa GPT-5 tidak akan ada dalam waktu dekat.
Usai pertemuan, Altman mengeluarkan pesan untuk mengungkapkan rasa terima kasihnya telah diundang untuk memberikan pidato di Konferensi Zhiyuan.
LeCun: masih penggemar model dunia
Pemenang Penghargaan Turing lainnya, LeCun, yang berbicara di hari pertama, masih terus mempromosikan konsep "model dunia" miliknya.
LeCun selalu meremehkan gagasan bahwa AI akan menghancurkan manusia. Dia percaya bahwa AI saat ini tidak secerdas anjing, dan kecerdasan buatan yang sebenarnya belum dikembangkan. Kekhawatiran seperti itu berlebihan.
Dia menjelaskan bahwa AI tidak dapat berpikir dan merencanakan seperti manusia dan hewan, sebagian karena sistem pembelajaran mesin saat ini pada dasarnya memiliki langkah komputasi yang konstan antara input dan output.
Bagaimana mesin dapat memahami cara kerja dunia, memprediksi konsekuensi tindakan seperti manusia, atau memecahnya menjadi beberapa langkah untuk merencanakan tugas yang rumit?
Jelas, pembelajaran yang diawasi sendiri adalah salah satu jalan. Dibandingkan dengan pembelajaran penguatan, pembelajaran yang diawasi sendiri dapat menghasilkan umpan balik dalam jumlah besar dan dapat memprediksi bagian mana pun dari masukannya.
LeCun mengatakan bahwa dia telah menentukan bahwa tiga tantangan utama kecerdasan buatan dalam beberapa tahun ke depan adalah mempelajari representasi dunia, memprediksi model dunia, dan menggunakan pembelajaran yang diawasi sendiri.
Kunci untuk membangun AI tingkat manusia mungkin adalah kemampuan untuk mempelajari "model dunia".
Diantaranya, "model dunia" terdiri dari enam modul independen, termasuk: modul konfigurator, modul persepsi, model dunia, modul biaya, modul aktor, dan modul memori jangka pendek.
Dia percaya bahwa merancang arsitektur dan paradigma pelatihan untuk model dunia adalah kendala nyata yang menghambat pengembangan kecerdasan buatan dalam beberapa dekade mendatang.
Ketika ditanya apakah sistem AI akan menimbulkan risiko eksistensial bagi manusia, LeCun mengatakan bahwa kami belum memiliki AI super, jadi bagaimana cara membuat sistem AI super aman?
"Acara pakar AI" yang paling cocok
Konferensi Zhiyuan 2023 yang penuh semangat dapat dikatakan sebagai konferensi tingkat tertinggi dan paling banyak ditonton di bidang AI domestik tahun ini.
Sejak awal berdirinya, karakteristik penting dari Konferensi Zhiyuan sangat jelas: akademik, profesional, mutakhir.
Dalam sekejap mata, acara tahunan para pakar AI ini telah memasuki tahun kelima.
Kali ini, Konferensi Zhiyuan 2023 melanjutkan tradisi setiap Konferensi Zhiyuan, dan suasana akademik masih terasa kental.
Pada tahun 2021, pada Konferensi Zhiyuan ketiga, pemenang Penghargaan Turing Yoshua Bengio, profesor Universitas Peking E Weinan, dan Zhu Min, dekan Institut Riset Keuangan Nasional Universitas Tsinghua, menyampaikan pidato utama.
Pada tahun 2022, dua pemenang Penghargaan Turing Yann LeCun dan Adi Shamir, bapak pembelajaran penguatan Richard Sutton, akademisi Amerika Serikat Michael I. Jordan, pemenang Penghargaan Gödel Cynthia Dwork dan kelas berat lainnya berbagi.
Dan pada tahun 2023, tidak diragukan lagi ini akan menjadi sesi "paling bertabur bintang".
Ada 4 pemenang Penghargaan Turing Yann LeCun, Geoffrey Hinton, Joseph Sifakis dan Yao Qizhi, serta pendiri OpenAI Sam Altman, pemenang Hadiah Nobel Arieh Warshel, pendiri Future Life Institute Max Tegmark, dan pemenang Penghargaan Prestasi Tertinggi Wu Wenjun 2022 Akademisi Zheng Nanning dan akademisi Zhang Bo dari Chinese Academy of Sciences berpartisipasi.
Lebih penting lagi, setelah proyek model skala besar "Pencerahan" Zhiyuan berulang kali mencetak rekor "China pertama + terbesar di dunia", "Pencerahan 3.0" telah memasuki tahap baru "sumber terbuka yang komprehensif".
"Enlightenment 3.0" adalah seri model berskala besar.
Secara khusus, itu termasuk seri model skala besar bahasa Aquila, sistem evaluasi model skala besar Bendera, seri model skala besar visual "Pencerahan · Penglihatan", dan seri model skala besar multi-modal.
Seri Model Besar Bahasa
Pencerahan·Aquila: lisensi komersial terbuka penuh
Yang pertama adalah model seri Aquila, yang merupakan model bahasa sumber terbuka pertama dengan pengetahuan dwibahasa Cina dan Inggris dan mendukung persyaratan kepatuhan data domestik, dan telah membuka lisensi komersial sepenuhnya.
Sumber terbuka ini mencakup model dasar dari 7 miliar parameter dan 33 miliar parameter, model dialog AquilaChat, dan model pembuatan "kode teks" AquilaCode.
Alamat sumber terbuka Aquila Enlightenment:
Performa lebih kuat
Secara teknis, model dasar Aquila (7B, 33B) secara teknis mewarisi keunggulan desain arsitektur GPT-3, LLaMA, dll., menggantikan sekumpulan implementasi operator tingkat bawah yang lebih efisien, mendesain ulang dan mengimplementasikan tokenizer dwibahasa Cina-Inggris, The Metode pelatihan paralel BMTrain telah ditingkatkan, dan dalam proses pelatihan Aquila, efisiensi pelatihan hampir 8 kali lebih tinggi daripada Magtron+DeepSpeed ZeRO-2.
Secara khusus, yang pertama adalah memanfaatkan teknik baru untuk mempercepat kerangka kerja pelatihan secara paralel.
Tahun lalu, Zhiyuan membuka sumber proyek sumber terbuka algoritme model besar FlagAI, yang mengintegrasikan metode pelatihan paralel baru seperti BMTrain. Selama proses pelatihan, perhitungan dan komunikasinya serta masalah yang tumpang tindih semakin dioptimalkan.
Kedua, Zhiyuan memimpin dalam memperkenalkan teknologi pengoptimalan operator, dan mengintegrasikannya dengan metode akselerasi paralel untuk semakin mempercepat kinerja.
Belajar bahasa Mandarin dan Inggris secara bersamaan
Mengapa pembebasan Aquila begitu menggembirakan?
Karena banyak model besar "hanya belajar bahasa Inggris"-hanya berdasarkan sejumlah besar pelatihan korpus bahasa Inggris, tetapi Aquila harus belajar bahasa Cina dan Inggris.
Anda mungkin pernah mengalaminya sendiri: Ketika seseorang belajar ilmu, tidak masalah jika Anda tetap menggunakan bahasa Inggris sepanjang waktu, tetapi jika Anda belajar bahasa Inggris dan kemudian belajar bahasa Mandarin, kesulitannya akan sangat besar.
Oleh karena itu, dibandingkan dengan model berbasis bahasa Inggris seperti LLaMA dan OPT, kesulitan pelatihan Aquila, yang perlu mempelajari pengetahuan bahasa Mandarin dan Inggris, telah meningkat berkali-kali lipat.
Untuk mengoptimalkan Aquila untuk tugas-tugas China, Zhiyuan menempatkan hampir 40% korpus China dalam korpus pelatihannya. Pasalnya, Zhiyuan berharap Aquila tidak hanya bisa membangkitkan bahasa Tionghoa, tetapi juga memahami banyak pengetahuan asli dunia Tionghoa.
Selain itu, Zhiyuan juga telah mendesain ulang dan menerapkan tokenizer (tokenizer) dwibahasa Mandarin-Inggris, yaitu untuk mengenali dan mendukung segmentasi kata dalam bahasa Mandarin dengan lebih baik.
Dalam proses pelatihan dan desain, untuk tugas China, tim Zhiyuan sengaja menimbang dua dimensi kualitas dan efisiensi untuk menentukan ukuran tokenizer.
Model dialog AquilaChat (7B, 33B) dibangun berdasarkan model dasar Aquila untuk mendukung dialog teks halus dan tugas pembuatan multi-bahasa.
beberapa putaran dialog
Pembuatan komposisi ujian masuk perguruan tinggi
Selain itu, dengan menentukan spesifikasi instruksi khusus yang dapat diperluas, AquilaChat dapat digunakan untuk memanggil model dan alat lain, dan mudah untuk diperluas.
Misalnya, model pembuatan teks dan gambar multibahasa AltDiffusion bersumber terbuka oleh Zhiyuan digunakan untuk mewujudkan kemampuan pembuatan teks dan gambar yang halus. Bekerja sama dengan model grafik Vincent yang dapat dikontrol multi-langkah Zhiyuan InstructFace, ia juga dapat dengan mudah mewujudkan pengeditan gambar wajah yang dapat dikontrol multi-langkah.
Pembuatan teks
Pengeditan wajah multi-langkah yang dapat dikontrol
Model pembuatan "kode teks" AquilaCode-7B, berdasarkan pada kemampuan model dasar yang kuat dari Aquila-7B, mencapai kinerja tinggi dengan kumpulan data kecil dan sejumlah kecil parameter. Saat ini merupakan model kode sumber terbuka terbaik yang mendukung bahasa Cina dan kinerja dwibahasa Inggris Setelah pemfilteran berkualitas tinggi, pelatihan dilakukan menggunakan data kode pelatihan dengan lisensi sumber terbuka yang sesuai.
Selain itu, AquilaCode-7B telah menyelesaikan pelatihan model kode masing-masing pada Nvidia dan chip domestik, dan melalui open source kode + model dari berbagai arsitektur, ini mempromosikan inovasi chip dan mekarnya seratus bunga.
pembuatan kode teks
Korpus Cina yang lebih patuh dan lebih bersih
Dibandingkan dengan model open source asing, fitur yang paling khas dari Aquila adalah mendukung persyaratan kepatuhan data domestik.
Model skala besar asing mungkin memiliki kemampuan Cina tertentu, tetapi hampir semua data Internet Cina yang digunakan oleh model skala besar open source asing diekstraksi dari kumpulan data Internet seperti Common Crawl.
Namun, jika kami menganalisis korpus Perayapan Umum, kami dapat menemukan bahwa ada kurang dari 40.000 laman web China yang tersedia dalam 1 juta entri, dan 83% di antaranya adalah situs web luar negeri, yang kualitasnya jelas tidak dapat dikendalikan.
Oleh karena itu, Aquila tidak menggunakan korpus China apa pun dalam Perayapan Umum, tetapi menggunakan kumpulan data Wudao milik Zhiyuan yang terakumulasi selama tiga tahun terakhir. Kumpulan data China Wudao berasal dari lebih dari 10.000 situs web China daratan, sehingga data China-nya memenuhi persyaratan kepatuhan dan lebih bersih.
Secara umum, rilis ini hanyalah titik awal.Tujuan Zhiyuan adalah untuk membuat satu set lengkap pipa evolusi dan iterasi model besar, sehingga model besar akan terus tumbuh dengan penambahan lebih banyak data dan lebih banyak kemampuan, dan Ini akan terus berlanjut menjadi open source dan terbuka.
Perlu dicatat bahwa Aquila tersedia di kartu grafis konsumen. Misalnya, model 7B dapat berjalan pada memori video 16G atau bahkan lebih kecil.
Library (Flag) sistem evaluasi model besar
Sistem evaluasi model skala besar yang aman, andal, komprehensif, dan objektif juga sangat penting untuk inovasi teknologi dan implementasi industri model skala besar.
Pertama-tama, bagi civitas akademika, jika ingin mempromosikan inovasi model besar, harus ada penggaris untuk mengukur kemampuan dan kualitas model besar.
Kedua, untuk industri, sebagian besar perusahaan akan memilih untuk langsung menggunakan model besar yang ada daripada mengembangkannya dari awal. Saat memilih, sistem evaluasi diperlukan untuk membantu menilai. Lagi pula, model besar dasar yang dikembangkan sendiri mengandalkan biaya daya komputasi yang besar. Untuk mengembangkan model dengan parameter 30 miliar, dana yang dibutuhkan antara lain daya komputasi, data, dll, minimal 20 juta.
Selain itu, apakah mungkin untuk membangun sistem evaluasi model skala besar yang komprehensif dari "evaluasi otomatis + evaluasi subyektif manual", dan mewujudkan loop tertutup otomatis dari hasil evaluasi ke analisis kemampuan model, dan kemudian ke peningkatan kemampuan model, telah menjadi aspek penting dari inovasi model dasar berskala besar, salah satu hambatannya.
Untuk mengatasi masalah ini, Zhiyuan Research Institute memilih untuk memprioritaskan peluncuran sistem evaluasi model skala besar Libra (Flag) dan platform terbuka (flag.baai.ac.cn).
Sistem evaluasi model skala besar Bendera dan platform terbuka bertujuan untuk menetapkan tolok ukur evaluasi, metode, dan perangkat evaluasi yang ilmiah, adil, dan terbuka untuk membantu peneliti dalam mengevaluasi kinerja model dasar dan algoritme pelatihan secara komprehensif, dan pada saat yang sama mengeksplorasi penggunaan metode AI untuk mencapai Bantuan evaluasi subjektif sangat meningkatkan efisiensi dan objektivitas evaluasi.
Secara khusus, sistem evaluasi model skala besar Bendera secara inovatif membangun kerangka kerja evaluasi tiga dimensi dari "indikator tugas-kemampuan", yang dapat dengan halus menggambarkan batas kemampuan kognitif dari model dasar dan memvisualisasikan hasil evaluasi.
Saat ini, sistem evaluasi model skala besar Bendera mencakup total 600+ dimensi evaluasi, termasuk 22 set data evaluasi dan 84.433 pertanyaan, dan lebih banyak set data evaluasi dimensi sedang diintegrasikan secara bertahap.
Selain itu, sistem evaluasi model skala besar Bendera akan terus mengeksplorasi penelitian interdisipliner antara evaluasi model skala besar bahasa dan disiplin sosial seperti psikologi, pendidikan, dan etika, untuk mengevaluasi model skala besar bahasa secara lebih komprehensif dan ilmiah. .
30+ kemampuan × 5 tugas × 4 kategori indikator = 600+ evaluasi komprehensif dimensi
Seri model besar visual
Dalam hal visi komputer, tim Enlightenment 3.0 telah menciptakan rangkaian model besar "Enlightenment Vision" dengan persepsi pemandangan umum dan kemampuan pemrosesan tugas yang kompleks.
Diantaranya, teknologi SOTA dari 6 semburan inilah yang membangun fondasi yang mendasari "Pencerahan·Visi":
Model besar multi-modal "Emu", model besar pra-pelatihan "EVA", model multi-tugas visual "Pelukis", model visi segmentasi tujuan umum, model besar pra-pelatihan grafis "EVA-CLIP" dan teknologi pengeditan video "vid2vid-nol ".
1. Emu: Menyelesaikan semuanya dalam urutan multimodal
Emu adalah model besar yang menerima input multimodal dan menghasilkan output multimodal. Berdasarkan jalur teknologi pembelajaran konteks multimodal, Emu dapat belajar dari rangkaian multimodal masif seperti teks grafis, teks grafis interlaced, dan teks video interlaced.
Setelah pelatihan selesai, Emu dapat menyelesaikan semuanya dalam konteks urutan multi-modal, memahami, menalar, dan menghasilkan data dari berbagai modalitas seperti gambar, teks, dan video, dan menyelesaikan beberapa putaran dialog teks-grafis dan beberapa grafik sampel. -pemahaman teks, pertanyaan dan jawaban video, pembuatan teks-ke-gambar, pembuatan grafik-ke-gambar dan tugas multi-modal lainnya.
2. EVA: Model visual basic tingkat miliaran terkuat
alamat proyek:
Alamat kertas:
EVA menggabungkan model pembelajaran semantik (CLIP) dan metode pembelajaran struktur geometris (MIM), dan memperluas model ViT standar menjadi 1 miliar parameter untuk pelatihan. Dalam satu gerakan, itu mencapai kinerja terkuat pada saat itu dalam berbagai tugas persepsi visual seperti klasifikasi ImageNet, deteksi dan segmentasi COCO, dan klasifikasi video Kinetics.
3. EVA-CLIP: Model CLIP sumber terbuka paling andal
Alamat proyek: /tree/master/EVA-CLIP
Alamat kertas:
EVA-CLIP, dikembangkan dengan model visi dasar EVA sebagai intinya, telah diiterasi hingga 5 miliar parameter.
Dibandingkan dengan OpenCLIP sebelumnya dengan tingkat akurasi 80,1%, model EVA-CLIP memiliki tingkat akurasi 82,0% di ImageNet1K zero-sample top1. Dalam hal akurasi ImageNet kNN, model DINOv2 Meta terbaru setara dengan 1 miliar parameter EVA-CLIP.
4. Pelukis: Jalur teknologi "pembelajaran gambar kontekstual" pertama
alamat proyek:
Alamat kertas:
Ide inti dari model visual umum Pemodelan pelukis adalah "visi-sentris". Dengan menggunakan gambar sebagai masukan dan keluaran, informasi visual kontekstual diperoleh untuk menyelesaikan berbagai tugas visual.
5. Model Cakrawala Segmentasi Universal: All-in-One, Pisahkan Semuanya
Model segmentasi universal cakrawala memiliki kemampuan penalaran konteks visual yang kuat, dan hanya membutuhkan satu atau beberapa contoh gambar dan isyarat visual, dan model tersebut dapat memahami niat pengguna dan menyelesaikan tugas segmentasi serupa.
Sederhananya, pengguna menandai dan mengenali kelas objek di layar, dan mereka dapat mengidentifikasi dan mengelompokkan objek serupa dalam kelompok, baik di layar saat ini atau layar lain atau lingkungan video.
6.vid2vid-zero: Teknologi pengeditan video tanpa sampel pertama di industri
alamat proyek:
Tautan kertas:
Situs demo:
Teknologi pengeditan video tanpa sampel "vid2vid-zero" menggunakan karakteristik dinamis dari mekanisme perhatian untuk pertama kalinya, dikombinasikan dengan model difusi gambar yang ada, untuk membuat kerangka kerja model untuk pengeditan video tanpa pra-pelatihan video tambahan. Sekarang, cukup unggah video, lalu masukkan serangkaian teks petunjuknya, Anda dapat mengedit video dengan atribut tertentu.
Pencerahan penelitian model berskala besar China
Zhiyuan Research Institute, didirikan pada November 2018, adalah pelopor penelitian model skala besar di Tiongkok, setelah lima tahun pengembangan, telah menjadi tolok ukur penelitian model skala besar di Tiongkok.
Yang membuatnya berbeda dari institusi lain adalah Zhiyuan Research Institute adalah institusi platform. Pada awal pendiriannya, Zhiyuan Research Institute menjadikan penciptaan ekosistem inovasi kecerdasan buatan sebagai salah satu misi dan tugas dasarnya.
Bagaimana Zhiyuan mempromosikan pengembangan penelitian model skala besar di Tiongkok sejak didirikan?
Nyatanya, pendirian Zhiyuan Research Institute terjadi tepat pada saat munculnya model asing berskala besar.
Omong-omong, arah utama penelitian OpenAI yang didirikan pada tahun 2015 adalah untuk mengeksplorasi rute ke AGI, dan ini bukan model yang besar.
Setelah 2018, OpenAI mulai fokus pada model besar, dan merilis GPT dengan 117 juta parameter pada bulan Juni. Pada tahun yang sama, Google juga merilis model bahasa pra-terlatih BERT berskala besar dengan 300 juta parameter.
Semua orang telah memperhatikan bahwa seluruh tren industri dan tren teknologi pada tahun 2018 adalah membuat model yang lebih besar.
Saat daya komputasi yang digunakan oleh model meningkat, Hukum Moore menjadi apa yang disebut "hukum model", yaitu daya komputasi yang digunakan untuk melatih model besar menjadi dua kali lipat dalam 3-4 bulan.
Itu juga pada tahun 2018 ketika Institut Penelitian Zhiyuan didirikan, yang memimpin dalam menyatukan para sarjana top di bidang AI dan memulai eksplorasi model besar.
Alhasil, pada 2021, Zhiyuan berturut-turut merilis dua model besar Enlightenment 1.0 dan Enlightenment 2.0.
Menurut Huang Tiejun, pada konferensi pers Enlightenment 1.0 pada Maret 2021, Zhiyuan Research menilai bahwa kecerdasan buatan telah berubah dari "model besar" menjadi tahap baru "model besar". memasuki visi publik.
Setiap tahun di Konferensi Zhiyuan, tiga rute teknis utama untuk mendaki puncak AGI akan diceritakan: model besar, kecerdasan hidup, dan AI4Science. Ketiga rute ini tidak terisolasi, mereka berinteraksi dan saling mempengaruhi.
Saat ini, alasan utama munculnya kemampuan model besar berasal dari data masif di belakangnya.
Data linguistik itu sendiri mengandung pengetahuan dan kecerdasan yang kaya, yang diekstraksi melalui model skala besar, dan jaringan saraf digunakan untuk mengekspresikan hukum di balik data yang kompleks.
Ini adalah alasan yang masuk akal mengapa salah satu jalur teknis model besar dapat mengarah ke AGI.
Ini juga menjelaskan mengapa Zhiyuan awalnya berfokus pada model besar. Pada Maret 2021, Enlightenment 1.0 dirilis, diikuti oleh Enlightenment 2.0 pada bulan Juni.
Selain itu, selain model besar, Zhiyuan juga terus mengeksplorasi dua jalan lain menuju AGI, "Life Intelligence" dan "AI4Science".
Pada tahun 2022, Zhiyuan merilis simulasi Caenorhabditis elegans yang paling akurat. Kali ini, Zhiyuan membuka platform simulasi kehidupan "eVolution-eVolution" yang digunakan dalam studi nematoda buatan untuk menyediakan layanan online.
Tianyan adalah platform simulasi jaringan saraf halus berskala sangat besar dengan empat fitur penting: platform paling efisien untuk simulasi jaringan saraf halus; dukungan untuk simulasi jaringan saraf berskala sangat besar; menyediakan perangkat pemodelan dan simulasi online satu atap ; Interaksi visual berkualitas tinggi mendukung simulasi waktu nyata dan operasi kolaboratif visual.
Berdasarkan platform Tianyan, ia mewujudkan simulasi kecerdasan biologis presisi tinggi, mengeksplorasi esensi kecerdasan, dan mempromosikan kecerdasan buatan umum yang terinspirasi oleh biologi. Selanjutnya, tim Tianyan telah menghubungkan Tianyan ke superkomputer exascale generasi baru negara saya - superkomputer generasi baru Tianhe.
Melalui penyebaran dan pengoperasian "Tianyan-Tianhe" yang berhasil, simulasi model seperti jaringan halus korteks visual otak tikus V1 dapat direalisasikan, dan konsumsi energi perhitungan dapat dikurangi lebih dari 10 kali lipat, dan kecepatan perhitungan dapat meningkat lebih dari 10 kali lipat, mencapai yang paling ekstrem di dunia Kinerja simulasi jaringan saraf halus meletakkan dasar yang kuat untuk realisasi simulasi halus seluruh otak manusia.
Sekarang, dua tahun kemudian, Zhiyuan kembali merilis seri model besar Enlightenment 3.0.
Dalam hal penentuan posisi, sejak rilis Pencerahan 2.0, Zhiyuan, sebagai organisasi platform nirlaba, tidak hanya membuat model dan model, tetapi juga secara bertahap memberikan kontribusi unik pada pembangunan ekologi inti model besar.
Diantaranya, termasuk penyortiran data di belakang model, pengujian model, pengujian algoritme, sumber terbuka dan organisasi terbuka, dan tata letak platform daya komputasi yang komprehensif.
Mengapa Zhiyuan melakukan perubahan seperti itu?
Karena Zhiyuan sangat memahami bahwa model besar itu sendiri bukanlah bentuk produk terpenting di era model besar, melainkan era baru yang dicirikan oleh sistematisasi dan layanan intelektual.
Saat ini, model besar akan terus berkembang, dan yang tidak berubah adalah iterasi teknis di belakangnya, yaitu algoritme untuk melatih model.
Model terbaru yang Anda lihat setiap hari hanyalah hasil yang solid. Yang penting adalah apakah algoritme untuk melatih model tersebut canggih, apakah biayanya dikurangi secara efektif, dan apakah kemampuan di baliknya dapat dijelaskan dan dikontrol.
Oleh karena itu, sebagai organisasi platform, yang harus dilakukan Zhiyuan adalah menyatukan algoritme model pelatihan industri menjadi satu kesatuan yang berulang.
Pekerjaan ini diperlukan Zhiyuan tidak hanya bekerja pada algoritme model skala besar itu sendiri, tetapi juga menghabiskan lebih banyak waktu dan energi untuk pengembangan sistem teknis model skala besar.
Misalnya, Zhiyuan meluncurkan platform layanan cloud computing berskala besar "Jiuding Smart Computing Platform" untuk menyediakan daya komputasi, data, dan dukungan algoritme untuk pelatihan model berskala besar.
Tentu saja, bukan hanya kekuatan Zhiyuan sendiri, tetapi juga lembaga penelitian universitas-industri untuk berkolaborasi dan mengulang secara terbuka.
Pada bulan Maret tahun ini, Zhiyuan merilis sistem sumber terbuka teknologi model skala besar FlagOpen Feizhi, yang merupakan sumber terbuka dan sistem perangkat lunak terbuka untuk model skala besar yang dibangun bersama dengan sejumlah unit penelitian universitas-industri.
Seperti yang dikatakan Dekan Huang Tiejun, "Kami berharap model besar sekarang telah menjadi kekuatan terdepan dalam pengembangan industri kecerdasan buatan, kami akan melakukan lebih banyak pekerjaan pendukung di masa depan dan menyumbangkan kekuatan unik untuk era ini."
Anda mungkin bertanya, apa fitur terbesar dari Konferensi Zhiyuan tahun ini dibandingkan dengan yang sebelumnya?
Gayanya konsisten, dirangkum dalam dua kata: profesional dan murni.
Konferensi Zhiyuan diadakan tanpa tujuan yang realistis, dan tidak memperhatikan produk dan investor.
Di sini, para pemimpin industri dapat mengedepankan pendapat pribadi dan membuat penilaian dari sudut pandang profesional, dan tentu saja menyertakan benturan dan perdebatan pendapat atas, tanpa harus mempertimbangkan banyak faktor realistis.
"Godfather of AI" Geoffrey Hinton berpartisipasi dalam Konferensi Zhiyuan untuk pertama kalinya tahun ini Beberapa waktu lalu, dia mengundurkan diri dari Google karena menyesali pekerjaan seumur hidupnya. Dia menerbitkan pandangan terbaru tentang keamanan kecerdasan buatan.
Seperti biasa, Yann LeCun yang "optimis" tidak akan mengkhawatirkan risiko kecerdasan buatan seperti kebanyakan orang. Menurutnya, tidak masuk akal untuk mengerem sebelum mobil dibuat. Saat ini, upaya harus dilakukan untuk mengembangkan teknologi AI yang lebih maju dan algoritma.
Di saat yang sama, Anda juga akan melihat konfrontasi pandangan yang sengit di pertemuan tersebut. Max Tegmark tentang Pengendalian Risiko AI. Meski tidak bisa dikatakan sepenuhnya berlawanan dengan LeCun, ada juga perbedaan yang besar.
Ini adalah sorotan terbesar dari Konferensi Zhiyuan, dan juga merupakan gaya yang konsisten.
Keunikan pemosisian ini menjadi semakin penting dalam beberapa tahun terakhir.
Perkembangan kecerdasan buatan memiliki dampak yang semakin meningkat di dunia dan China, sehingga setiap orang membutuhkan kesempatan untuk mengekspresikan pandangan mereka dengan cara yang murni, termasuk benturan ideologis dan perdebatan sengit.
Arti penting dari hal ini adalah bahwa hanya konferensi yang lebih profesional, lebih murni, lebih netral, dan lebih terbuka, semakin kondusif bagi setiap orang untuk lebih memahami era perkembangan pesat seperti itu.
Di luar negeri, Konferensi Zhiyuan juga memiliki reputasi yang sangat baik, organisasi internasional menganggap Konferensi Zhiyuan sebagai jendela kerjasama dengan China dalam penelitian kecerdasan buatan.
Asal usul nama Zhiyuan juga menjadi sumber kecerdasan. Oleh karena itu, mengadakan Konferensi Zhiyuan telah menjadi acara penting untuk mempromosikan pengembangan kecerdasan buatan secara ekologis.
Jajaran tamu yang kuat, kekayaan pengaturan topik, dan kedalaman diskusi konten telah menciptakan Konferensi Zhiyuan yang unik.
Acara puncak eksklusif untuk pakar AI ini telah menjadi kartu bisnis cemerlang di bidang AI di China.
Referensi:
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Sam Altman dan Hinton debut di China! Acara pakar AI paling keras di China berhasil diselesaikan, dan model skala besar domestik "Enlightenment 3.0" sepenuhnya bersumber terbuka
**Sumber:**Xinzhiyuan
Baru saja, Konferensi Zhiyuan "AI Festival Musim Semi Gala" domestik tahunan telah berhasil diselesaikan!
Pada acara puncak tahunan kecerdasan buatan ini, ada tim bintang yang sudah dikenal seperti OpenAI, DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI, dll., Ada Meta, Google, Microsoft, dan pabrikan besar lainnya yang telah menaklukkan dunia, dan di sana adalah Stanford, UC Berkeley , MIT dan universitas top lainnya di dunia.
Penulis karya-karya penting seperti GPT-4, PaLM-E, OPT, LLaMA, dll semuanya hadir dan menjelaskan hasil penelitiannya kepada kami. Konferensi ini dapat dikatakan memiliki kedalaman profesional dan inspirasi kreatif, dan setiap topik telah dibahas secara ekstrim.
Klimaks dari konferensi tidak diragukan lagi adalah pidato dari pemenang Penghargaan Turing Yann LeCun, Geoffrey Hinton, dan pendiri OpenAI Sam Altman.
Geoffrey Hinton: Risiko Super AI mendesak
Dalam pidato utama penutup forum yang baru saja selesai, Hinton, pemenang Penghargaan Turing dan bapak pembelajaran mendalam, menyusun skenario yang patut dipikirkan untuk kita.
Ya, menurutnya, itu bisa terjadi dalam waktu dekat.
Seperti beberapa waktu lalu, Hinton mengundurkan diri dari Google dan menjelaskan alasan pengunduran dirinya secara singkat. Dia telah berbicara tentang penyesalan tentang pekerjaan seumur hidupnya dan kekhawatiran tentang bahaya kecerdasan buatan. Dia telah berulang kali menyatakan secara terbuka bahwa bahaya kecerdasan buatan bagi dunia lebih mendesak daripada perubahan iklim.
Demikian pula, di Konferensi Zhiyuan, Hinton berbicara tentang risiko AI lagi.
Bagaimana jika jaringan saraf besar yang berjalan di beberapa komputer digital dapat memperoleh pengetahuan langsung dari dunia, selain meniru bahasa manusia untuk pengetahuan manusia?
Ide ini tidak dibuat-buat, jika jaringan saraf ini dapat melakukan pemodelan gambar atau video tanpa pengawasan, dan salinannya juga dapat memanipulasi dunia fisik.
Jika suatu superintelijen diizinkan untuk merumuskan subtujuannya sendiri, salah satu subtujuannya adalah untuk mendapatkan kekuatan lebih, maka superintelijen akan memanipulasi manusia yang menggunakannya untuk mencapai tujuan tersebut.
Tanya Jawab Puncak Zhang Hongjiang dan Sam Altman: AGI mungkin muncul dalam sepuluh tahun
Pagi ini, Sam Altman juga muncul melalui tautan video. Ini adalah pertama kalinya Sam Altman memberikan pidato publik di China setelah ChatGPT meledak.
Alasan mengapa revolusi AI saat ini begitu berdampak bukan hanya pada skala dampaknya, tetapi juga kecepatan kemajuannya. Ini membawa dividen dan risiko.
Dengan munculnya sistem AI yang semakin kuat, memperkuat kerja sama internasional dan membangun kepercayaan global adalah yang terpenting.
Penyelarasan masih merupakan masalah terbuka. GPT-4 telah menyelesaikan pekerjaan penyelarasan dalam 8 bulan terakhir, terutama mencakup skalabilitas dan penjelasan.
Dalam pidatonya, Altman berulang kali menekankan perlunya penyelarasan dan pengawasan keamanan AI global, dan secara khusus mengutip kalimat dari Tao Te Ching:
Dalam pandangannya, kecerdasan buatan berkembang dengan kecepatan eksplosif, dan AI super mungkin muncul dalam sepuluh tahun mendatang.
Oleh karena itu, perlu untuk mempromosikan keamanan AGI, memperkuat kerja sama internasional, dan menyelaraskan penyebaran penelitian yang relevan.
Sam Altman percaya bahwa kerja sama dalam komunitas ilmiah dan teknologi internasional adalah langkah awal untuk mengambil langkah konstruktif saat ini. Secara khusus, transparansi dan mekanisme berbagi pengetahuan untuk kemajuan teknologi dalam keselamatan AGI harus ditingkatkan.
Selain itu, Altman menyebutkan bahwa tujuan penelitian utama OpenAI saat ini difokuskan pada penelitian penyelarasan AI, yaitu bagaimana menjadikan AI sebagai asisten yang berguna dan aman.
Pada akhirnya, OpenAI bertujuan untuk melatih sistem AI untuk membantu penelitian penyelarasan.
Setelah pidato tersebut, Zhang Hongjiang, ketua Zhiyuan Research Institute, dan Sam Altman membuka dialog udara untuk membahas bagaimana membuat penyelarasan AI yang aman.
Selain itu, ia juga mengatakan bahwa GPT-5 tidak akan ada dalam waktu dekat.
Usai pertemuan, Altman mengeluarkan pesan untuk mengungkapkan rasa terima kasihnya telah diundang untuk memberikan pidato di Konferensi Zhiyuan.
LeCun: masih penggemar model dunia
Pemenang Penghargaan Turing lainnya, LeCun, yang berbicara di hari pertama, masih terus mempromosikan konsep "model dunia" miliknya.
Dia menjelaskan bahwa AI tidak dapat berpikir dan merencanakan seperti manusia dan hewan, sebagian karena sistem pembelajaran mesin saat ini pada dasarnya memiliki langkah komputasi yang konstan antara input dan output.
Bagaimana mesin dapat memahami cara kerja dunia, memprediksi konsekuensi tindakan seperti manusia, atau memecahnya menjadi beberapa langkah untuk merencanakan tugas yang rumit?
LeCun mengatakan bahwa dia telah menentukan bahwa tiga tantangan utama kecerdasan buatan dalam beberapa tahun ke depan adalah mempelajari representasi dunia, memprediksi model dunia, dan menggunakan pembelajaran yang diawasi sendiri.
Kunci untuk membangun AI tingkat manusia mungkin adalah kemampuan untuk mempelajari "model dunia".
Diantaranya, "model dunia" terdiri dari enam modul independen, termasuk: modul konfigurator, modul persepsi, model dunia, modul biaya, modul aktor, dan modul memori jangka pendek.
Ketika ditanya apakah sistem AI akan menimbulkan risiko eksistensial bagi manusia, LeCun mengatakan bahwa kami belum memiliki AI super, jadi bagaimana cara membuat sistem AI super aman?
"Acara pakar AI" yang paling cocok
Konferensi Zhiyuan 2023 yang penuh semangat dapat dikatakan sebagai konferensi tingkat tertinggi dan paling banyak ditonton di bidang AI domestik tahun ini.
Sejak awal berdirinya, karakteristik penting dari Konferensi Zhiyuan sangat jelas: akademik, profesional, mutakhir.
Dalam sekejap mata, acara tahunan para pakar AI ini telah memasuki tahun kelima.
Kali ini, Konferensi Zhiyuan 2023 melanjutkan tradisi setiap Konferensi Zhiyuan, dan suasana akademik masih terasa kental.
Pada tahun 2022, dua pemenang Penghargaan Turing Yann LeCun dan Adi Shamir, bapak pembelajaran penguatan Richard Sutton, akademisi Amerika Serikat Michael I. Jordan, pemenang Penghargaan Gödel Cynthia Dwork dan kelas berat lainnya berbagi.
Dan pada tahun 2023, tidak diragukan lagi ini akan menjadi sesi "paling bertabur bintang".
Ada 4 pemenang Penghargaan Turing Yann LeCun, Geoffrey Hinton, Joseph Sifakis dan Yao Qizhi, serta pendiri OpenAI Sam Altman, pemenang Hadiah Nobel Arieh Warshel, pendiri Future Life Institute Max Tegmark, dan pemenang Penghargaan Prestasi Tertinggi Wu Wenjun 2022 Akademisi Zheng Nanning dan akademisi Zhang Bo dari Chinese Academy of Sciences berpartisipasi.
"Enlightenment 3.0" adalah seri model berskala besar.
Secara khusus, itu termasuk seri model skala besar bahasa Aquila, sistem evaluasi model skala besar Bendera, seri model skala besar visual "Pencerahan · Penglihatan", dan seri model skala besar multi-modal.
Seri Model Besar Bahasa
Pencerahan·Aquila: lisensi komersial terbuka penuh
Yang pertama adalah model seri Aquila, yang merupakan model bahasa sumber terbuka pertama dengan pengetahuan dwibahasa Cina dan Inggris dan mendukung persyaratan kepatuhan data domestik, dan telah membuka lisensi komersial sepenuhnya.
Sumber terbuka ini mencakup model dasar dari 7 miliar parameter dan 33 miliar parameter, model dialog AquilaChat, dan model pembuatan "kode teks" AquilaCode.
Performa lebih kuat
Secara teknis, model dasar Aquila (7B, 33B) secara teknis mewarisi keunggulan desain arsitektur GPT-3, LLaMA, dll., menggantikan sekumpulan implementasi operator tingkat bawah yang lebih efisien, mendesain ulang dan mengimplementasikan tokenizer dwibahasa Cina-Inggris, The Metode pelatihan paralel BMTrain telah ditingkatkan, dan dalam proses pelatihan Aquila, efisiensi pelatihan hampir 8 kali lebih tinggi daripada Magtron+DeepSpeed ZeRO-2.
Secara khusus, yang pertama adalah memanfaatkan teknik baru untuk mempercepat kerangka kerja pelatihan secara paralel.
Tahun lalu, Zhiyuan membuka sumber proyek sumber terbuka algoritme model besar FlagAI, yang mengintegrasikan metode pelatihan paralel baru seperti BMTrain. Selama proses pelatihan, perhitungan dan komunikasinya serta masalah yang tumpang tindih semakin dioptimalkan.
Kedua, Zhiyuan memimpin dalam memperkenalkan teknologi pengoptimalan operator, dan mengintegrasikannya dengan metode akselerasi paralel untuk semakin mempercepat kinerja.
Belajar bahasa Mandarin dan Inggris secara bersamaan
Mengapa pembebasan Aquila begitu menggembirakan?
Karena banyak model besar "hanya belajar bahasa Inggris"-hanya berdasarkan sejumlah besar pelatihan korpus bahasa Inggris, tetapi Aquila harus belajar bahasa Cina dan Inggris.
Anda mungkin pernah mengalaminya sendiri: Ketika seseorang belajar ilmu, tidak masalah jika Anda tetap menggunakan bahasa Inggris sepanjang waktu, tetapi jika Anda belajar bahasa Inggris dan kemudian belajar bahasa Mandarin, kesulitannya akan sangat besar.
Oleh karena itu, dibandingkan dengan model berbasis bahasa Inggris seperti LLaMA dan OPT, kesulitan pelatihan Aquila, yang perlu mempelajari pengetahuan bahasa Mandarin dan Inggris, telah meningkat berkali-kali lipat.
Untuk mengoptimalkan Aquila untuk tugas-tugas China, Zhiyuan menempatkan hampir 40% korpus China dalam korpus pelatihannya. Pasalnya, Zhiyuan berharap Aquila tidak hanya bisa membangkitkan bahasa Tionghoa, tetapi juga memahami banyak pengetahuan asli dunia Tionghoa.
Selain itu, Zhiyuan juga telah mendesain ulang dan menerapkan tokenizer (tokenizer) dwibahasa Mandarin-Inggris, yaitu untuk mengenali dan mendukung segmentasi kata dalam bahasa Mandarin dengan lebih baik.
Dalam proses pelatihan dan desain, untuk tugas China, tim Zhiyuan sengaja menimbang dua dimensi kualitas dan efisiensi untuk menentukan ukuran tokenizer.
Model dialog AquilaChat (7B, 33B) dibangun berdasarkan model dasar Aquila untuk mendukung dialog teks halus dan tugas pembuatan multi-bahasa.
Selain itu, dengan menentukan spesifikasi instruksi khusus yang dapat diperluas, AquilaChat dapat digunakan untuk memanggil model dan alat lain, dan mudah untuk diperluas.
Misalnya, model pembuatan teks dan gambar multibahasa AltDiffusion bersumber terbuka oleh Zhiyuan digunakan untuk mewujudkan kemampuan pembuatan teks dan gambar yang halus. Bekerja sama dengan model grafik Vincent yang dapat dikontrol multi-langkah Zhiyuan InstructFace, ia juga dapat dengan mudah mewujudkan pengeditan gambar wajah yang dapat dikontrol multi-langkah.
Model pembuatan "kode teks" AquilaCode-7B, berdasarkan pada kemampuan model dasar yang kuat dari Aquila-7B, mencapai kinerja tinggi dengan kumpulan data kecil dan sejumlah kecil parameter. Saat ini merupakan model kode sumber terbuka terbaik yang mendukung bahasa Cina dan kinerja dwibahasa Inggris Setelah pemfilteran berkualitas tinggi, pelatihan dilakukan menggunakan data kode pelatihan dengan lisensi sumber terbuka yang sesuai.
Korpus Cina yang lebih patuh dan lebih bersih
Dibandingkan dengan model open source asing, fitur yang paling khas dari Aquila adalah mendukung persyaratan kepatuhan data domestik.
Model skala besar asing mungkin memiliki kemampuan Cina tertentu, tetapi hampir semua data Internet Cina yang digunakan oleh model skala besar open source asing diekstraksi dari kumpulan data Internet seperti Common Crawl.
Namun, jika kami menganalisis korpus Perayapan Umum, kami dapat menemukan bahwa ada kurang dari 40.000 laman web China yang tersedia dalam 1 juta entri, dan 83% di antaranya adalah situs web luar negeri, yang kualitasnya jelas tidak dapat dikendalikan.
Oleh karena itu, Aquila tidak menggunakan korpus China apa pun dalam Perayapan Umum, tetapi menggunakan kumpulan data Wudao milik Zhiyuan yang terakumulasi selama tiga tahun terakhir. Kumpulan data China Wudao berasal dari lebih dari 10.000 situs web China daratan, sehingga data China-nya memenuhi persyaratan kepatuhan dan lebih bersih.
Secara umum, rilis ini hanyalah titik awal.Tujuan Zhiyuan adalah untuk membuat satu set lengkap pipa evolusi dan iterasi model besar, sehingga model besar akan terus tumbuh dengan penambahan lebih banyak data dan lebih banyak kemampuan, dan Ini akan terus berlanjut menjadi open source dan terbuka.
Perlu dicatat bahwa Aquila tersedia di kartu grafis konsumen. Misalnya, model 7B dapat berjalan pada memori video 16G atau bahkan lebih kecil.
Library (Flag) sistem evaluasi model besar
Sistem evaluasi model skala besar yang aman, andal, komprehensif, dan objektif juga sangat penting untuk inovasi teknologi dan implementasi industri model skala besar.
Pertama-tama, bagi civitas akademika, jika ingin mempromosikan inovasi model besar, harus ada penggaris untuk mengukur kemampuan dan kualitas model besar.
Kedua, untuk industri, sebagian besar perusahaan akan memilih untuk langsung menggunakan model besar yang ada daripada mengembangkannya dari awal. Saat memilih, sistem evaluasi diperlukan untuk membantu menilai. Lagi pula, model besar dasar yang dikembangkan sendiri mengandalkan biaya daya komputasi yang besar. Untuk mengembangkan model dengan parameter 30 miliar, dana yang dibutuhkan antara lain daya komputasi, data, dll, minimal 20 juta.
Selain itu, apakah mungkin untuk membangun sistem evaluasi model skala besar yang komprehensif dari "evaluasi otomatis + evaluasi subyektif manual", dan mewujudkan loop tertutup otomatis dari hasil evaluasi ke analisis kemampuan model, dan kemudian ke peningkatan kemampuan model, telah menjadi aspek penting dari inovasi model dasar berskala besar, salah satu hambatannya.
Untuk mengatasi masalah ini, Zhiyuan Research Institute memilih untuk memprioritaskan peluncuran sistem evaluasi model skala besar Libra (Flag) dan platform terbuka (flag.baai.ac.cn).
Secara khusus, sistem evaluasi model skala besar Bendera secara inovatif membangun kerangka kerja evaluasi tiga dimensi dari "indikator tugas-kemampuan", yang dapat dengan halus menggambarkan batas kemampuan kognitif dari model dasar dan memvisualisasikan hasil evaluasi.
Saat ini, sistem evaluasi model skala besar Bendera mencakup total 600+ dimensi evaluasi, termasuk 22 set data evaluasi dan 84.433 pertanyaan, dan lebih banyak set data evaluasi dimensi sedang diintegrasikan secara bertahap.
Selain itu, sistem evaluasi model skala besar Bendera akan terus mengeksplorasi penelitian interdisipliner antara evaluasi model skala besar bahasa dan disiplin sosial seperti psikologi, pendidikan, dan etika, untuk mengevaluasi model skala besar bahasa secara lebih komprehensif dan ilmiah. .
Seri model besar visual
Dalam hal visi komputer, tim Enlightenment 3.0 telah menciptakan rangkaian model besar "Enlightenment Vision" dengan persepsi pemandangan umum dan kemampuan pemrosesan tugas yang kompleks.
Diantaranya, teknologi SOTA dari 6 semburan inilah yang membangun fondasi yang mendasari "Pencerahan·Visi":
Model besar multi-modal "Emu", model besar pra-pelatihan "EVA", model multi-tugas visual "Pelukis", model visi segmentasi tujuan umum, model besar pra-pelatihan grafis "EVA-CLIP" dan teknologi pengeditan video "vid2vid-nol ".
1. Emu: Menyelesaikan semuanya dalam urutan multimodal
Setelah pelatihan selesai, Emu dapat menyelesaikan semuanya dalam konteks urutan multi-modal, memahami, menalar, dan menghasilkan data dari berbagai modalitas seperti gambar, teks, dan video, dan menyelesaikan beberapa putaran dialog teks-grafis dan beberapa grafik sampel. -pemahaman teks, pertanyaan dan jawaban video, pembuatan teks-ke-gambar, pembuatan grafik-ke-gambar dan tugas multi-modal lainnya.
2. EVA: Model visual basic tingkat miliaran terkuat
Alamat kertas:
EVA menggabungkan model pembelajaran semantik (CLIP) dan metode pembelajaran struktur geometris (MIM), dan memperluas model ViT standar menjadi 1 miliar parameter untuk pelatihan. Dalam satu gerakan, itu mencapai kinerja terkuat pada saat itu dalam berbagai tugas persepsi visual seperti klasifikasi ImageNet, deteksi dan segmentasi COCO, dan klasifikasi video Kinetics.
3. EVA-CLIP: Model CLIP sumber terbuka paling andal
Alamat kertas:
EVA-CLIP, dikembangkan dengan model visi dasar EVA sebagai intinya, telah diiterasi hingga 5 miliar parameter.
Dibandingkan dengan OpenCLIP sebelumnya dengan tingkat akurasi 80,1%, model EVA-CLIP memiliki tingkat akurasi 82,0% di ImageNet1K zero-sample top1. Dalam hal akurasi ImageNet kNN, model DINOv2 Meta terbaru setara dengan 1 miliar parameter EVA-CLIP.
4. Pelukis: Jalur teknologi "pembelajaran gambar kontekstual" pertama
Alamat kertas:
Ide inti dari model visual umum Pemodelan pelukis adalah "visi-sentris". Dengan menggunakan gambar sebagai masukan dan keluaran, informasi visual kontekstual diperoleh untuk menyelesaikan berbagai tugas visual.
5. Model Cakrawala Segmentasi Universal: All-in-One, Pisahkan Semuanya
Sederhananya, pengguna menandai dan mengenali kelas objek di layar, dan mereka dapat mengidentifikasi dan mengelompokkan objek serupa dalam kelompok, baik di layar saat ini atau layar lain atau lingkungan video.
6.vid2vid-zero: Teknologi pengeditan video tanpa sampel pertama di industri
Tautan kertas:
Situs demo:
Teknologi pengeditan video tanpa sampel "vid2vid-zero" menggunakan karakteristik dinamis dari mekanisme perhatian untuk pertama kalinya, dikombinasikan dengan model difusi gambar yang ada, untuk membuat kerangka kerja model untuk pengeditan video tanpa pra-pelatihan video tambahan. Sekarang, cukup unggah video, lalu masukkan serangkaian teks petunjuknya, Anda dapat mengedit video dengan atribut tertentu.
Pencerahan penelitian model berskala besar China
Zhiyuan Research Institute, didirikan pada November 2018, adalah pelopor penelitian model skala besar di Tiongkok, setelah lima tahun pengembangan, telah menjadi tolok ukur penelitian model skala besar di Tiongkok.
Yang membuatnya berbeda dari institusi lain adalah Zhiyuan Research Institute adalah institusi platform. Pada awal pendiriannya, Zhiyuan Research Institute menjadikan penciptaan ekosistem inovasi kecerdasan buatan sebagai salah satu misi dan tugas dasarnya.
Bagaimana Zhiyuan mempromosikan pengembangan penelitian model skala besar di Tiongkok sejak didirikan?
Omong-omong, arah utama penelitian OpenAI yang didirikan pada tahun 2015 adalah untuk mengeksplorasi rute ke AGI, dan ini bukan model yang besar.
Setelah 2018, OpenAI mulai fokus pada model besar, dan merilis GPT dengan 117 juta parameter pada bulan Juni. Pada tahun yang sama, Google juga merilis model bahasa pra-terlatih BERT berskala besar dengan 300 juta parameter.
Semua orang telah memperhatikan bahwa seluruh tren industri dan tren teknologi pada tahun 2018 adalah membuat model yang lebih besar.
Saat daya komputasi yang digunakan oleh model meningkat, Hukum Moore menjadi apa yang disebut "hukum model", yaitu daya komputasi yang digunakan untuk melatih model besar menjadi dua kali lipat dalam 3-4 bulan.
Alhasil, pada 2021, Zhiyuan berturut-turut merilis dua model besar Enlightenment 1.0 dan Enlightenment 2.0.
Menurut Huang Tiejun, pada konferensi pers Enlightenment 1.0 pada Maret 2021, Zhiyuan Research menilai bahwa kecerdasan buatan telah berubah dari "model besar" menjadi tahap baru "model besar". memasuki visi publik.
Setiap tahun di Konferensi Zhiyuan, tiga rute teknis utama untuk mendaki puncak AGI akan diceritakan: model besar, kecerdasan hidup, dan AI4Science. Ketiga rute ini tidak terisolasi, mereka berinteraksi dan saling mempengaruhi.
Data linguistik itu sendiri mengandung pengetahuan dan kecerdasan yang kaya, yang diekstraksi melalui model skala besar, dan jaringan saraf digunakan untuk mengekspresikan hukum di balik data yang kompleks.
Ini adalah alasan yang masuk akal mengapa salah satu jalur teknis model besar dapat mengarah ke AGI.
Ini juga menjelaskan mengapa Zhiyuan awalnya berfokus pada model besar. Pada Maret 2021, Enlightenment 1.0 dirilis, diikuti oleh Enlightenment 2.0 pada bulan Juni.
Selain itu, selain model besar, Zhiyuan juga terus mengeksplorasi dua jalan lain menuju AGI, "Life Intelligence" dan "AI4Science".
Pada tahun 2022, Zhiyuan merilis simulasi Caenorhabditis elegans yang paling akurat. Kali ini, Zhiyuan membuka platform simulasi kehidupan "eVolution-eVolution" yang digunakan dalam studi nematoda buatan untuk menyediakan layanan online.
Tianyan adalah platform simulasi jaringan saraf halus berskala sangat besar dengan empat fitur penting: platform paling efisien untuk simulasi jaringan saraf halus; dukungan untuk simulasi jaringan saraf berskala sangat besar; menyediakan perangkat pemodelan dan simulasi online satu atap ; Interaksi visual berkualitas tinggi mendukung simulasi waktu nyata dan operasi kolaboratif visual.
Berdasarkan platform Tianyan, ia mewujudkan simulasi kecerdasan biologis presisi tinggi, mengeksplorasi esensi kecerdasan, dan mempromosikan kecerdasan buatan umum yang terinspirasi oleh biologi. Selanjutnya, tim Tianyan telah menghubungkan Tianyan ke superkomputer exascale generasi baru negara saya - superkomputer generasi baru Tianhe.
Melalui penyebaran dan pengoperasian "Tianyan-Tianhe" yang berhasil, simulasi model seperti jaringan halus korteks visual otak tikus V1 dapat direalisasikan, dan konsumsi energi perhitungan dapat dikurangi lebih dari 10 kali lipat, dan kecepatan perhitungan dapat meningkat lebih dari 10 kali lipat, mencapai yang paling ekstrem di dunia Kinerja simulasi jaringan saraf halus meletakkan dasar yang kuat untuk realisasi simulasi halus seluruh otak manusia.
Sekarang, dua tahun kemudian, Zhiyuan kembali merilis seri model besar Enlightenment 3.0.
Dalam hal penentuan posisi, sejak rilis Pencerahan 2.0, Zhiyuan, sebagai organisasi platform nirlaba, tidak hanya membuat model dan model, tetapi juga secara bertahap memberikan kontribusi unik pada pembangunan ekologi inti model besar.
Diantaranya, termasuk penyortiran data di belakang model, pengujian model, pengujian algoritme, sumber terbuka dan organisasi terbuka, dan tata letak platform daya komputasi yang komprehensif.
Mengapa Zhiyuan melakukan perubahan seperti itu?
Karena Zhiyuan sangat memahami bahwa model besar itu sendiri bukanlah bentuk produk terpenting di era model besar, melainkan era baru yang dicirikan oleh sistematisasi dan layanan intelektual.
Saat ini, model besar akan terus berkembang, dan yang tidak berubah adalah iterasi teknis di belakangnya, yaitu algoritme untuk melatih model.
Model terbaru yang Anda lihat setiap hari hanyalah hasil yang solid. Yang penting adalah apakah algoritme untuk melatih model tersebut canggih, apakah biayanya dikurangi secara efektif, dan apakah kemampuan di baliknya dapat dijelaskan dan dikontrol.
Oleh karena itu, sebagai organisasi platform, yang harus dilakukan Zhiyuan adalah menyatukan algoritme model pelatihan industri menjadi satu kesatuan yang berulang.
Pekerjaan ini diperlukan Zhiyuan tidak hanya bekerja pada algoritme model skala besar itu sendiri, tetapi juga menghabiskan lebih banyak waktu dan energi untuk pengembangan sistem teknis model skala besar.
Misalnya, Zhiyuan meluncurkan platform layanan cloud computing berskala besar "Jiuding Smart Computing Platform" untuk menyediakan daya komputasi, data, dan dukungan algoritme untuk pelatihan model berskala besar.
Tentu saja, bukan hanya kekuatan Zhiyuan sendiri, tetapi juga lembaga penelitian universitas-industri untuk berkolaborasi dan mengulang secara terbuka.
Pada bulan Maret tahun ini, Zhiyuan merilis sistem sumber terbuka teknologi model skala besar FlagOpen Feizhi, yang merupakan sumber terbuka dan sistem perangkat lunak terbuka untuk model skala besar yang dibangun bersama dengan sejumlah unit penelitian universitas-industri.
Anda mungkin bertanya, apa fitur terbesar dari Konferensi Zhiyuan tahun ini dibandingkan dengan yang sebelumnya?
Gayanya konsisten, dirangkum dalam dua kata: profesional dan murni.
Konferensi Zhiyuan diadakan tanpa tujuan yang realistis, dan tidak memperhatikan produk dan investor.
Di sini, para pemimpin industri dapat mengedepankan pendapat pribadi dan membuat penilaian dari sudut pandang profesional, dan tentu saja menyertakan benturan dan perdebatan pendapat atas, tanpa harus mempertimbangkan banyak faktor realistis.
"Godfather of AI" Geoffrey Hinton berpartisipasi dalam Konferensi Zhiyuan untuk pertama kalinya tahun ini Beberapa waktu lalu, dia mengundurkan diri dari Google karena menyesali pekerjaan seumur hidupnya. Dia menerbitkan pandangan terbaru tentang keamanan kecerdasan buatan.
Seperti biasa, Yann LeCun yang "optimis" tidak akan mengkhawatirkan risiko kecerdasan buatan seperti kebanyakan orang. Menurutnya, tidak masuk akal untuk mengerem sebelum mobil dibuat. Saat ini, upaya harus dilakukan untuk mengembangkan teknologi AI yang lebih maju dan algoritma.
Di saat yang sama, Anda juga akan melihat konfrontasi pandangan yang sengit di pertemuan tersebut. Max Tegmark tentang Pengendalian Risiko AI. Meski tidak bisa dikatakan sepenuhnya berlawanan dengan LeCun, ada juga perbedaan yang besar.
Ini adalah sorotan terbesar dari Konferensi Zhiyuan, dan juga merupakan gaya yang konsisten.
Keunikan pemosisian ini menjadi semakin penting dalam beberapa tahun terakhir.
Perkembangan kecerdasan buatan memiliki dampak yang semakin meningkat di dunia dan China, sehingga setiap orang membutuhkan kesempatan untuk mengekspresikan pandangan mereka dengan cara yang murni, termasuk benturan ideologis dan perdebatan sengit.
Arti penting dari hal ini adalah bahwa hanya konferensi yang lebih profesional, lebih murni, lebih netral, dan lebih terbuka, semakin kondusif bagi setiap orang untuk lebih memahami era perkembangan pesat seperti itu.
Di luar negeri, Konferensi Zhiyuan juga memiliki reputasi yang sangat baik, organisasi internasional menganggap Konferensi Zhiyuan sebagai jendela kerjasama dengan China dalam penelitian kecerdasan buatan.
Asal usul nama Zhiyuan juga menjadi sumber kecerdasan. Oleh karena itu, mengadakan Konferensi Zhiyuan telah menjadi acara penting untuk mempromosikan pengembangan kecerdasan buatan secara ekologis.
Jajaran tamu yang kuat, kekayaan pengaturan topik, dan kedalaman diskusi konten telah menciptakan Konferensi Zhiyuan yang unik.
Acara puncak eksklusif untuk pakar AI ini telah menjadi kartu bisnis cemerlang di bidang AI di China.
Referensi: