Teks lengkap Sam Altman's China Dialogue: Kita harus waspada terhadap risiko AI, tetapi jauh lebih mudah untuk memahami jaringan saraf daripada memahami apa yang dipikirkan orang
Pidato Sam Altman berlangsung di sub-forum Keamanan dan Keselarasan AI Konferensi Zhiyuan pada 10 Juni. Adegan itu penuh dengan kursi, ketika CEO OpenAI muncul di layar, ada tepuk tangan, dan hampir semua orang mengangkat ponselnya untuk mengambil gambar di layar.
Namun Altman sendiri tampak tenang, bahkan berhati-hati. Ini adalah pertama kalinya sejak ChatGPT memicu ledakan AI global tahun lalu, Sam Altman secara terbuka mengungkapkan pendapatnya tentang latar belakang China.
Padahal, dia juga tidak jauh dari China hari itu, dia baru saja tiba di Seoul dan bertemu dengan presiden Korea Selatan. Setelah pidatonya, dia juga melakukan tanya jawab empat mata dengan Zhang Hongjiang, ketua Institut Penelitian Zhiyuan. Berikut adalah poin-poin penting dan fakta-faktanya.
Poin utama:
Saat kita semakin dekat dengan AGI dalam teknologi, efek dan jebakan ketidaksejajaran akan meningkat secara eksponensial.
OpenAI saat ini menggunakan teknologi umpan balik manusia pembelajaran penguatan untuk memastikan bahwa sistem AI berguna dan aman, dan juga mengeksplorasi teknologi baru.Salah satu idenya adalah menggunakan sistem AI untuk membantu manusia mengawasi sistem AI lainnya.
Manusia akan memiliki sistem kecerdasan buatan (AI) yang kuat dalam sepuluh tahun.
OpenAI tidak memiliki timeline open source baru yang relevan, dan meskipun dia mengakui bahwa model open source memiliki keuntungan dalam hal keamanan AI, open source semuanya mungkin bukan rute terbaik.
Jauh lebih mudah untuk memahami jaringan saraf daripada otak manusia.
China memiliki talenta kecerdasan buatan terbaik, dan keamanan AI membutuhkan partisipasi dan kontribusi peneliti China.
Berikut transkrip pidatonya:
Hari ini, saya ingin berbicara tentang masa depan. Secara khusus, tingkat pertumbuhan yang kami lihat dalam kemampuan AI. Apa yang perlu kita lakukan sekarang untuk mempersiapkan dunia secara bertanggung jawab untuk pengenalannya, sejarah sains telah mengajarkan kita bahwa kemajuan teknologi mengikuti kurva eksponensial. Kita sudah bisa melihat ini dalam sejarah, mulai dari pertanian dan industri hingga revolusi komputasi. Yang mencengangkan tentang kecerdasan buatan bukan hanya dampaknya, tetapi juga kecepatan kemajuannya. Itu mendorong batas imajinasi manusia, dan melakukannya dengan sangat cepat.
Bayangkan bahwa dalam dekade berikutnya, sistem yang biasa disebut kecerdasan umum buatan (AGI) melampaui keahlian manusia di hampir setiap domain. Sistem ini pada akhirnya dapat melampaui produktivitas kolektif perusahaan terbesar kami. Ada potensi keuntungan besar yang mengintai di sini. Revolusi AI akan menciptakan kekayaan bersama dan memungkinkan untuk meningkatkan standar hidup setiap orang, mengatasi tantangan bersama seperti perubahan iklim dan keamanan kesehatan global, serta meningkatkan kesejahteraan masyarakat dengan berbagai cara lainnya.
Saya sangat percaya pada masa depan ini, dan untuk mewujudkannya dan menikmatinya, kita perlu berinvestasi bersama dalam keamanan AGI, dan mengelola risiko. Jika kita tidak hati-hati, sistem AGI yang tidak sesuai dengan tujuannya dapat merusak keseluruhan sistem perawatan kesehatan dengan membuat rekomendasi yang tidak berdasar. Demikian pula, sistem AGI yang dirancang untuk mengoptimalkan praktik pertanian dapat secara tidak sengaja menghabiskan sumber daya alam atau merusak ekosistem, memengaruhi produksi pangan dan keseimbangan lingkungan karena kurangnya pertimbangan untuk keberlanjutan jangka panjang.
Saya harap kita semua dapat sepakat bahwa memajukan keselamatan AGI adalah salah satu bidang terpenting kita. Saya ingin memfokuskan sisa pembicaraan saya di mana saya pikir kita bisa mulai.
Salah satu areanya adalah tata kelola AGI, sebuah teknologi dengan implikasi global. Biaya kecelakaan akibat pengembangan dan penyebaran yang sembrono akan memengaruhi kita semua.
Dalam hal ini, ada dua elemen kunci:
Pertama, kita perlu menetapkan norma dan standar internasional dan, melalui proses yang inklusif, mengembangkan perlindungan yang sama dan seragam untuk penggunaan AGI di semua negara. Dalam perlindungan ini, kami percaya bahwa orang memiliki banyak kesempatan untuk membuat pilihan mereka sendiri.
Kedua, kita membutuhkan kerja sama internasional untuk membangun kepercayaan global dalam pengembangan yang aman dari sistem AI yang semakin kuat, dengan cara yang dapat diverifikasi. Ini bukan tugas yang mudah. Kami membutuhkan perhatian yang berkelanjutan dan kritis sebagai komunitas internasional untuk melakukan ini dengan baik. Tao Te Ching mengingatkan kita bahwa perjalanan ribuan mil dimulai dengan satu langkah. Menurut kami, langkah pertama yang paling konstruktif untuk dilakukan di sini adalah bekerja sama dengan komunitas teknologi internasional.
Secara khusus, kita harus mempromosikan mekanisme untuk meningkatkan transparansi dan berbagi pengetahuan terkait kemajuan teknologi dalam keamanan AGI. Peneliti yang menemukan masalah keamanan yang muncul harus membagikan wawasan mereka untuk kebaikan yang lebih besar. Kita perlu memikirkan dengan hati-hati tentang bagaimana kita dapat mendorong norma-norma tersebut sambil menghormati dan melindungi hak kekayaan intelektual.
Jika kita melakukannya dengan baik, ini akan membuka pintu baru bagi kita untuk memperdalam kerja sama kita. Secara lebih luas, kita harus berinvestasi, memfasilitasi, dan mengarahkan investasi dalam penelitian penargetan dan keamanan.
Di OpenAI, penelitian tertarget kami hari ini berfokus pada pertanyaan teknis tentang cara membuat sistem AI bertindak sebagai asisten yang berguna dan aman dalam sistem kami saat ini. Ini bisa berarti, bagaimana kami melatih ChatGPT agar tidak membuat ancaman kekerasan atau membantu pengguna dalam aktivitas berbahaya.
Namun saat kita semakin dekat dengan AGI, potensi dampak dan besarnya ketidakpatuhan akan tumbuh secara eksponensial. Untuk mengatasi tantangan ini sebelumnya, kami berusaha untuk meminimalkan risiko bencana di masa mendatang. Untuk sistem saat ini, kami terutama menggunakan pembelajaran penguatan dari umpan balik manusia untuk melatih model kami agar bertindak sebagai asisten yang berguna dan aman.
Ini adalah contoh teknik target pasca-pelatihan, dan kami juga sibuk mengembangkan yang baru. Dibutuhkan banyak kerja keras untuk melakukannya dengan baik. Kami membutuhkan waktu 8 bulan untuk melakukan ini sejak GPT-4 menyelesaikan pra-pelatihan hingga menerapkannya. Secara keseluruhan, kami pikir kami berada di jalur yang benar di sini. GPT-4 lebih cocok dengan target daripada model kami sebelumnya.
Namun, penargetan tetap menjadi masalah terbuka untuk sistem yang lebih maju, yang kami yakini akan memerlukan pendekatan teknis baru, serta tata kelola dan pengawasan yang lebih banyak. Bayangkan sebuah sistem AGI futuristik hadir dengan 100.000 baris kode biner. Pengawas manusia tidak mungkin mendeteksi jika model seperti itu melakukan sesuatu yang jahat.
Jadi kami berinvestasi dalam beberapa arah penelitian baru dan saling melengkapi yang kami harap akan menghasilkan terobosan. Salah satunya adalah pengawasan terukur. Kita bisa mencoba menggunakan sistem AI untuk membantu manusia dalam mengawasi sistem AI lainnya. Sebagai contoh, kita dapat melatih sebuah model untuk membantu pengawas manusia menemukan kekurangan dalam keluaran model lain. Yang kedua adalah interpretabilitas. Kami ingin mencoba lebih memahami apa yang terjadi di dalam model ini.
Kami baru-baru ini menerbitkan makalah menggunakan GPT-4 untuk menginterpretasikan neuron di GPT-2. Di makalah lain, kami menggunakan internal model untuk mendeteksi ketika model berbohong. Meskipun jalan kami masih panjang, kami percaya bahwa teknik pembelajaran mesin tingkat lanjut dapat lebih meningkatkan kemampuan kami untuk menghasilkan penjelasan.
Pada akhirnya, tujuan kami adalah melatih sistem AI untuk membantu penelitian target itu sendiri. Aspek yang menjanjikan dari pendekatan ini adalah bahwa pendekatan ini disesuaikan dengan kecepatan pengembangan AI. Saat model masa depan menjadi semakin pintar dan lebih berguna sebagai asisten, kami akan menemukan teknik yang lebih baik yang mewujudkan manfaat luar biasa dari AGI sambil memitigasi risiko, salah satu tantangan terpenting di zaman kita.
Berikut transkrip percakapannya:
Zhang Hongjiang: Seberapa jauh kita dari kecerdasan buatan? Apakah risikonya mendesak, atau apakah kita jauh dari itu? Entah itu AI yang aman atau AI yang berpotensi tidak aman.
Sam Altman: Masalah ini sulit diprediksi dengan tepat karena membutuhkan ide penelitian baru yang tidak selalu berkembang sesuai dengan jadwal yang ditentukan. Itu bisa terjadi dengan cepat, atau bisa memakan waktu lebih lama. Saya pikir sulit untuk diprediksi dengan tingkat kepastian apa pun. Tapi menurut saya dalam dekade berikutnya, kita mungkin memiliki sistem AI yang sangat kuat. Di dunia seperti itu, saya pikir penting dan mendesak untuk menyelesaikan masalah ini, oleh karena itu saya menyerukan kepada komunitas internasional untuk bekerja sama menyelesaikan masalah ini. Sejarah memang memberi kita beberapa contoh teknologi baru yang mengubah dunia lebih cepat dari yang dibayangkan banyak orang. Dampak dan percepatan sistem ini yang kita lihat sekarang belum pernah terjadi sebelumnya. Jadi menurut saya sangat masuk akal untuk mempersiapkan hal itu terjadi secepat mungkin, dan untuk mengatasi aspek keamanan, mengingat dampak dan kepentingannya.
Zhang Hongjiang: Apakah Anda merasakan urgensi?
Sam Altman: Ya, saya merasakannya. Saya ingin menekankan bahwa kita tidak benar-benar tahu. Dan definisi kecerdasan buatan berbeda, tapi menurut saya dalam sepuluh tahun, kita harus siap menghadapi dunia dengan sistem yang sangat kuat.
Zhang Hongjiang: Anda juga menyebutkan beberapa kerja sama global dalam pidato Anda barusan. Kita tahu bahwa dunia telah menghadapi banyak krisis dalam enam atau tujuh dekade terakhir. Tetapi untuk banyak dari krisis ini, kami berhasil membangun konsensus dan kerja sama global. Anda juga sedang dalam tur global. Kolaborasi global seperti apa yang Anda promosikan? Bagaimana perasaan Anda tentang umpan balik yang Anda terima sejauh ini?
Sam Altman: Ya, saya sangat senang dengan umpan balik yang saya terima sejauh ini. Saya pikir orang mengambil risiko dan peluang yang disajikan oleh AI dengan sangat serius. Saya pikir diskusi tentang ini telah berlangsung lama dalam enam bulan terakhir. Orang-orang benar-benar berupaya mencari kerangka kerja di mana kita dapat menikmati manfaat ini sambil bekerja sama untuk mengurangi risiko. Saya pikir kami berada dalam posisi yang sangat baik untuk melakukan itu. Kerja sama global selalu sulit, tetapi saya melihatnya sebagai peluang dan ancaman yang dapat menyatukan dunia. Akan sangat membantu jika kami dapat mengembangkan beberapa kerangka kerja dan standar keamanan untuk memandu pengembangan sistem ini.
Zhang Hongjiang: Pada topik khusus ini, Anda menyebutkan bahwa penyelarasan sistem kecerdasan buatan tingkat lanjut adalah masalah yang belum terpecahkan. Saya juga memperhatikan bahwa Open AI telah berupaya keras selama beberapa tahun terakhir. Anda juga menyebutkan GPT-4 sebagai contoh terbaik dalam hal penyelarasan. Apakah menurut Anda kami dapat menyelesaikan masalah keamanan AI melalui penyelarasan? Atau apakah masalah ini lebih besar dari penyelarasan?
Sam Altman: Saya pikir ada penggunaan kata penyelarasan yang berbeda. Saya pikir yang perlu kita atasi adalah seluruh tantangan tentang bagaimana mencapai sistem AI yang aman. Penyelarasan secara tradisional adalah tentang membuat model berperilaku seperti yang diinginkan pengguna, dan itu pasti bagian darinya. Tetapi ada pertanyaan lain yang perlu kami jawab, seperti bagaimana kami memverifikasi bahwa sistem melakukan apa yang kami inginkan, dan dengan nilai siapa kami menyelaraskan sistem. Tapi menurut saya penting untuk melihat gambaran lengkap tentang apa yang dibutuhkan untuk mencapai AI yang aman.
Zhang Hongjiang: Ya, keselarasan masih terjadi. Jika kita melihat apa yang telah dilakukan GPT-4, sebagian besar masih dari segi teknis. Tapi ada banyak faktor lain selain teknologi. Ini adalah masalah yang sangat kompleks. Seringkali masalah kompleks bersifat sistemik. Keamanan AI mungkin tidak terkecuali. Selain aspek teknis, faktor dan masalah lain apa yang menurut Anda penting untuk keamanan AI? Bagaimana seharusnya kita menanggapi tantangan-tantangan ini? Terutama karena kebanyakan dari kita adalah ilmuwan, apa yang harus kita lakukan?
Sam Altman: Ini tentu saja pertanyaan yang sangat rumit. Saya akan mengatakan bahwa tanpa solusi teknis, yang lainnya sulit. Saya pikir sangat penting untuk menaruh banyak fokus untuk memastikan bahwa kami menangani aspek teknis keamanan. Seperti yang saya sebutkan, bukan masalah teknis untuk mengetahui nilai apa yang ingin kita selaraskan dengan sistem. Ini membutuhkan masukan teknis, tetapi ini adalah masalah yang membutuhkan diskusi mendalam oleh seluruh masyarakat. Kita harus merancang sistem yang adil, representatif, dan inklusif. Dan, seperti yang Anda tunjukkan, kami harus mempertimbangkan tidak hanya keamanan model AI itu sendiri, tetapi juga keamanan seluruh sistem. Jadi, penting juga untuk membuat pengklasifikasi dan pendeteksi keamanan yang dapat berjalan di atas model dan dapat memantau kepatuhan terhadap kebijakan penggunaan. Dan kemudian, saya juga merasa sulit untuk memprediksi sebelumnya apa yang salah dengan teknologi apa pun. Jadi belajarlah dari dunia nyata dan terapkan secara iteratif, lihat apa yang terjadi saat Anda menempatkan model di dunia nyata, dan tingkatkan, serta berikan waktu kepada orang dan masyarakat untuk belajar dan memperbarui, dan pikirkan tentang bagaimana model ini akan digunakan untuk kebaikan dan mempengaruhi hidup mereka dengan cara yang buruk. Ini juga sangat penting.
Zhang Hongjiang: Anda baru saja menyebutkan kerja sama global. Anda telah mengunjungi banyak negara dan Anda menyebut Cina. Tapi bisakah Anda membagikan beberapa hasil yang telah Anda capai dalam hal kolaborasi? Rencana atau ide apa yang Anda miliki untuk langkah selanjutnya? Dari tur dunia ini, dari interaksi Anda dengan berbagai pemerintah, institusi, institusi?
Sam Altman: Saya pikir banyak perspektif berbeda dan keamanan AI umumnya diperlukan. Kami belum memiliki semua jawaban, dan ini adalah pertanyaan yang agak sulit dan penting.
Juga, seperti yang disebutkan, ini bukan pertanyaan teknis murni untuk membuat AI aman dan bermanfaat. Melibatkan pemahaman preferensi pengguna di berbagai negara dalam konteks yang sangat berbeda. Kami membutuhkan banyak masukan berbeda untuk mewujudkannya. China memiliki beberapa talenta AI terbaik di dunia. Pada dasarnya, menurut saya pemikiran terbaik dari seluruh dunia diperlukan untuk mengatasi kesulitan menyelaraskan sistem AI tingkat lanjut. Jadi saya sangat berharap peneliti AI China dapat memberikan kontribusi besar di sini.
Zhang Hongjiang: Saya mengerti bahwa forum hari ini adalah tentang keamanan AI, karena orang sangat ingin tahu tentang OpenAI, jadi saya punya banyak pertanyaan tentang OpenAI, bukan hanya tentang keamanan AI. Saya memiliki pertanyaan audiens di sini, apakah ada rencana OpenAI untuk membuka kembali modelnya seperti sebelum versi 3.0? Saya juga berpikir open source bagus untuk keamanan AI.
Sam Altman: Beberapa model kami adalah open source dan beberapa tidak, tetapi seiring berjalannya waktu, saya pikir Anda harus mengharapkan kami untuk terus membuka lebih banyak model open source di masa mendatang. Saya tidak memiliki model atau garis waktu tertentu, tetapi itu adalah sesuatu yang sedang kita diskusikan saat ini.
Zhang Hongjiang: Kami mengerahkan semua upaya kami ke sumber terbuka, termasuk model itu sendiri, algoritme untuk mengembangkan model, dan alat untuk mengoptimalkan hubungan antara model dan data. Kami percaya pada kebutuhan untuk berbagi dan membuat pengguna merasa memegang kendali atas apa yang mereka gunakan. Apakah Anda memiliki umpan balik serupa? Atau ini yang kalian diskusikan di OpenAI?
Sam Altman: Ya, menurut saya open source memang memiliki peran penting. Ada juga banyak model open source baru yang muncul belakangan ini. Menurut saya model API juga memiliki peran penting. Ini memberi kami kontrol keamanan tambahan. Anda dapat memblokir penggunaan tertentu. Anda dapat memblokir jenis tweak tertentu. Jika ada yang tidak berfungsi, Anda dapat mengambilnya kembali. Pada skala model saat ini, saya tidak terlalu khawatir tentang itu. Tapi karena modelnya menjadi sekuat yang kita harapkan, jika kita benar tentangnya, menurut saya open source semuanya mungkin bukan jalan terbaik, meskipun terkadang itu benar. Saya pikir kita hanya perlu menyeimbangkannya dengan hati-hati.
Zhang Hongjiang: Pertanyaan lanjutan tentang keamanan GPT-4 dan AI adalah, apakah kita perlu mengubah seluruh infrastruktur atau arsitektur seluruh model AGI agar lebih aman dan mudah untuk diperiksa? Apa pendapat Anda tentang ini?
Sam Altman: Sangat mungkin, kami memerlukan beberapa arsitektur yang sangat berbeda, baik dari segi kemampuan maupun keamanan. Saya pikir kita akan dapat membuat beberapa kemajuan dalam penjelasan, pada jenis model saat ini, dan meminta mereka menjelaskan dengan lebih baik kepada kita apa yang mereka lakukan dan mengapa. Tapi tidak mengejutkan saya jika ada lompatan raksasa lain setelah transformer. Dan sebenarnya kita sudah berada di trafo aslinya, arsitekturnya sudah banyak berubah.
Zhang Hongjiang: Sebagai seorang peneliti, saya juga penasaran, kemana arah penelitian AGI selanjutnya? Dalam hal model besar, model bahasa besar, apakah kita akan segera melihat GPT-5? Apakah perbatasan berikutnya dalam model yang diwujudkan? Apakah robot otonom merupakan area yang sedang atau akan dijelajahi oleh OpenAI?
Sam Altman: Saya juga ingin tahu tentang apa selanjutnya, dan salah satu hal favorit saya tentang melakukan pekerjaan ini adalah ada banyak kegembiraan dan kejutan di penelitian mutakhir. Kami belum memiliki jawabannya, jadi kami mengeksplorasi banyak kemungkinan paradigma baru. Tentu saja, pada titik tertentu, kami akan mencoba membuat model GPT-5, tetapi tidak dalam waktu dekat. Kami tidak tahu kapan persisnya. Kami telah mengerjakan robotika sejak awal OpenAI, dan kami sangat tertarik dengannya, tetapi kami mengalami beberapa kesulitan. Saya berharap suatu hari kita bisa kembali ke lapangan ini.
Zhang Hongjiang: Kedengarannya bagus. Anda juga menyebutkan dalam presentasi Anda bagaimana Anda menggunakan GPT-4 untuk menjelaskan cara kerja GPT-2, membuat model lebih aman. Apakah pendekatan ini dapat diskalakan? Apakah arah OpenAI ini akan terus maju di masa depan?
Sam Altman: Kami akan terus mendorong ke arah ini.
Zhang Hongjiang: Apakah menurut Anda metode ini dapat diterapkan pada neuron biologis? Karena alasan saya mengajukan pertanyaan ini adalah karena ada beberapa ahli biologi dan ahli saraf yang ingin menggunakan metode ini untuk mempelajari dan mengeksplorasi cara kerja neuron manusia di bidangnya.
Sam Altman: Jauh lebih mudah melihat apa yang terjadi pada neuron buatan daripada neuron biologis. Jadi menurut saya pendekatan ini berlaku untuk jaringan syaraf tiruan. Saya pikir ada cara untuk menggunakan model yang lebih kuat untuk membantu kita memahami model lain. Tapi saya tidak begitu yakin bagaimana Anda akan menerapkan pendekatan ini pada otak manusia.
Zhang Hongjiang: Oke, terima kasih. Sekarang kita telah berbicara tentang keamanan AI dan kontrol AGI, salah satu pertanyaan yang telah kita diskusikan adalah apakah akan lebih aman jika hanya ada tiga model di dunia? Ini seperti kontrol nuklir, Anda tidak ingin senjata nuklir berkembang biak. Kami memiliki perjanjian ini di mana kami mencoba untuk mengontrol jumlah negara yang bisa mendapatkan teknologi ini. Jadi, apakah mengendalikan jumlah model merupakan arah yang layak?
Sam Altman: Saya pikir ada perbedaan pendapat tentang apakah lebih aman memiliki model minoritas atau model mayoritas di dunia. Saya pikir ini lebih penting, apakah kita memiliki sistem di mana model yang kuat diuji keamanannya secara memadai? Apakah kita memiliki kerangka kerja di mana siapa pun yang membuat model yang cukup kuat memiliki sumber daya dan tanggung jawab untuk memastikan bahwa apa yang mereka buat aman dan selaras?
Zhang Hongjiang: Pada pertemuan kemarin, Profesor Max dari MIT Future of Life Institute menyebutkan metode yang mungkin, yang mirip dengan cara kita mengontrol pengembangan obat. Ketika ilmuwan atau perusahaan mengembangkan obat baru, Anda tidak dapat langsung memasarkannya. Anda harus melalui proses pengujian ini. Apakah ini sesuatu yang bisa kita pelajari?
Sam Altman: Saya yakin kita bisa belajar banyak dari kerangka lisensi dan pengujian yang telah dikembangkan di berbagai industri. Tapi saya pikir pada dasarnya kita punya sesuatu yang bisa berhasil.
Zhang Hongjiang: Terima kasih banyak, Sam. Terima kasih telah meluangkan waktu untuk menghadiri pertemuan ini, meskipun secara virtual. Saya yakin ada lebih banyak pertanyaan, tetapi mengingat waktunya, kita harus berhenti di sini. Saya harap lain kali Anda memiliki kesempatan untuk datang ke China, datang ke Beijing, kita dapat berdiskusi lebih mendalam. Terima kasih banyak.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Teks lengkap Sam Altman's China Dialogue: Kita harus waspada terhadap risiko AI, tetapi jauh lebih mudah untuk memahami jaringan saraf daripada memahami apa yang dipikirkan orang
Pengarang｜Neil Shen
Sumber丨Pinwan
Pidato Sam Altman berlangsung di sub-forum Keamanan dan Keselarasan AI Konferensi Zhiyuan pada 10 Juni. Adegan itu penuh dengan kursi, ketika CEO OpenAI muncul di layar, ada tepuk tangan, dan hampir semua orang mengangkat ponselnya untuk mengambil gambar di layar.
Namun Altman sendiri tampak tenang, bahkan berhati-hati. Ini adalah pertama kalinya sejak ChatGPT memicu ledakan AI global tahun lalu, Sam Altman secara terbuka mengungkapkan pendapatnya tentang latar belakang China.
Padahal, dia juga tidak jauh dari China hari itu, dia baru saja tiba di Seoul dan bertemu dengan presiden Korea Selatan. Setelah pidatonya, dia juga melakukan tanya jawab empat mata dengan Zhang Hongjiang, ketua Institut Penelitian Zhiyuan. Berikut adalah poin-poin penting dan fakta-faktanya.
Poin utama:
Saat kita semakin dekat dengan AGI dalam teknologi, efek dan jebakan ketidaksejajaran akan meningkat secara eksponensial.
OpenAI saat ini menggunakan teknologi umpan balik manusia pembelajaran penguatan untuk memastikan bahwa sistem AI berguna dan aman, dan juga mengeksplorasi teknologi baru.Salah satu idenya adalah menggunakan sistem AI untuk membantu manusia mengawasi sistem AI lainnya.
Manusia akan memiliki sistem kecerdasan buatan (AI) yang kuat dalam sepuluh tahun.
OpenAI tidak memiliki timeline open source baru yang relevan, dan meskipun dia mengakui bahwa model open source memiliki keuntungan dalam hal keamanan AI, open source semuanya mungkin bukan rute terbaik.
Jauh lebih mudah untuk memahami jaringan saraf daripada otak manusia.
China memiliki talenta kecerdasan buatan terbaik, dan keamanan AI membutuhkan partisipasi dan kontribusi peneliti China.
Berikut transkrip pidatonya:
Hari ini, saya ingin berbicara tentang masa depan. Secara khusus, tingkat pertumbuhan yang kami lihat dalam kemampuan AI. Apa yang perlu kita lakukan sekarang untuk mempersiapkan dunia secara bertanggung jawab untuk pengenalannya, sejarah sains telah mengajarkan kita bahwa kemajuan teknologi mengikuti kurva eksponensial. Kita sudah bisa melihat ini dalam sejarah, mulai dari pertanian dan industri hingga revolusi komputasi. Yang mencengangkan tentang kecerdasan buatan bukan hanya dampaknya, tetapi juga kecepatan kemajuannya. Itu mendorong batas imajinasi manusia, dan melakukannya dengan sangat cepat.
Bayangkan bahwa dalam dekade berikutnya, sistem yang biasa disebut kecerdasan umum buatan (AGI) melampaui keahlian manusia di hampir setiap domain. Sistem ini pada akhirnya dapat melampaui produktivitas kolektif perusahaan terbesar kami. Ada potensi keuntungan besar yang mengintai di sini. Revolusi AI akan menciptakan kekayaan bersama dan memungkinkan untuk meningkatkan standar hidup setiap orang, mengatasi tantangan bersama seperti perubahan iklim dan keamanan kesehatan global, serta meningkatkan kesejahteraan masyarakat dengan berbagai cara lainnya.
Saya sangat percaya pada masa depan ini, dan untuk mewujudkannya dan menikmatinya, kita perlu berinvestasi bersama dalam keamanan AGI, dan mengelola risiko. Jika kita tidak hati-hati, sistem AGI yang tidak sesuai dengan tujuannya dapat merusak keseluruhan sistem perawatan kesehatan dengan membuat rekomendasi yang tidak berdasar. Demikian pula, sistem AGI yang dirancang untuk mengoptimalkan praktik pertanian dapat secara tidak sengaja menghabiskan sumber daya alam atau merusak ekosistem, memengaruhi produksi pangan dan keseimbangan lingkungan karena kurangnya pertimbangan untuk keberlanjutan jangka panjang.
Saya harap kita semua dapat sepakat bahwa memajukan keselamatan AGI adalah salah satu bidang terpenting kita. Saya ingin memfokuskan sisa pembicaraan saya di mana saya pikir kita bisa mulai.
Salah satu areanya adalah tata kelola AGI, sebuah teknologi dengan implikasi global. Biaya kecelakaan akibat pengembangan dan penyebaran yang sembrono akan memengaruhi kita semua.
Dalam hal ini, ada dua elemen kunci:
Pertama, kita perlu menetapkan norma dan standar internasional dan, melalui proses yang inklusif, mengembangkan perlindungan yang sama dan seragam untuk penggunaan AGI di semua negara. Dalam perlindungan ini, kami percaya bahwa orang memiliki banyak kesempatan untuk membuat pilihan mereka sendiri.
Kedua, kita membutuhkan kerja sama internasional untuk membangun kepercayaan global dalam pengembangan yang aman dari sistem AI yang semakin kuat, dengan cara yang dapat diverifikasi. Ini bukan tugas yang mudah. Kami membutuhkan perhatian yang berkelanjutan dan kritis sebagai komunitas internasional untuk melakukan ini dengan baik. Tao Te Ching mengingatkan kita bahwa perjalanan ribuan mil dimulai dengan satu langkah. Menurut kami, langkah pertama yang paling konstruktif untuk dilakukan di sini adalah bekerja sama dengan komunitas teknologi internasional.
Secara khusus, kita harus mempromosikan mekanisme untuk meningkatkan transparansi dan berbagi pengetahuan terkait kemajuan teknologi dalam keamanan AGI. Peneliti yang menemukan masalah keamanan yang muncul harus membagikan wawasan mereka untuk kebaikan yang lebih besar. Kita perlu memikirkan dengan hati-hati tentang bagaimana kita dapat mendorong norma-norma tersebut sambil menghormati dan melindungi hak kekayaan intelektual.
Jika kita melakukannya dengan baik, ini akan membuka pintu baru bagi kita untuk memperdalam kerja sama kita. Secara lebih luas, kita harus berinvestasi, memfasilitasi, dan mengarahkan investasi dalam penelitian penargetan dan keamanan.
Di OpenAI, penelitian tertarget kami hari ini berfokus pada pertanyaan teknis tentang cara membuat sistem AI bertindak sebagai asisten yang berguna dan aman dalam sistem kami saat ini. Ini bisa berarti, bagaimana kami melatih ChatGPT agar tidak membuat ancaman kekerasan atau membantu pengguna dalam aktivitas berbahaya.
Namun saat kita semakin dekat dengan AGI, potensi dampak dan besarnya ketidakpatuhan akan tumbuh secara eksponensial. Untuk mengatasi tantangan ini sebelumnya, kami berusaha untuk meminimalkan risiko bencana di masa mendatang. Untuk sistem saat ini, kami terutama menggunakan pembelajaran penguatan dari umpan balik manusia untuk melatih model kami agar bertindak sebagai asisten yang berguna dan aman.
Ini adalah contoh teknik target pasca-pelatihan, dan kami juga sibuk mengembangkan yang baru. Dibutuhkan banyak kerja keras untuk melakukannya dengan baik. Kami membutuhkan waktu 8 bulan untuk melakukan ini sejak GPT-4 menyelesaikan pra-pelatihan hingga menerapkannya. Secara keseluruhan, kami pikir kami berada di jalur yang benar di sini. GPT-4 lebih cocok dengan target daripada model kami sebelumnya.
Namun, penargetan tetap menjadi masalah terbuka untuk sistem yang lebih maju, yang kami yakini akan memerlukan pendekatan teknis baru, serta tata kelola dan pengawasan yang lebih banyak. Bayangkan sebuah sistem AGI futuristik hadir dengan 100.000 baris kode biner. Pengawas manusia tidak mungkin mendeteksi jika model seperti itu melakukan sesuatu yang jahat.
Jadi kami berinvestasi dalam beberapa arah penelitian baru dan saling melengkapi yang kami harap akan menghasilkan terobosan. Salah satunya adalah pengawasan terukur. Kita bisa mencoba menggunakan sistem AI untuk membantu manusia dalam mengawasi sistem AI lainnya. Sebagai contoh, kita dapat melatih sebuah model untuk membantu pengawas manusia menemukan kekurangan dalam keluaran model lain. Yang kedua adalah interpretabilitas. Kami ingin mencoba lebih memahami apa yang terjadi di dalam model ini.
Kami baru-baru ini menerbitkan makalah menggunakan GPT-4 untuk menginterpretasikan neuron di GPT-2. Di makalah lain, kami menggunakan internal model untuk mendeteksi ketika model berbohong. Meskipun jalan kami masih panjang, kami percaya bahwa teknik pembelajaran mesin tingkat lanjut dapat lebih meningkatkan kemampuan kami untuk menghasilkan penjelasan.
Pada akhirnya, tujuan kami adalah melatih sistem AI untuk membantu penelitian target itu sendiri. Aspek yang menjanjikan dari pendekatan ini adalah bahwa pendekatan ini disesuaikan dengan kecepatan pengembangan AI. Saat model masa depan menjadi semakin pintar dan lebih berguna sebagai asisten, kami akan menemukan teknik yang lebih baik yang mewujudkan manfaat luar biasa dari AGI sambil memitigasi risiko, salah satu tantangan terpenting di zaman kita.
Berikut transkrip percakapannya:
Zhang Hongjiang: Seberapa jauh kita dari kecerdasan buatan? Apakah risikonya mendesak, atau apakah kita jauh dari itu? Entah itu AI yang aman atau AI yang berpotensi tidak aman.
Sam Altman: Masalah ini sulit diprediksi dengan tepat karena membutuhkan ide penelitian baru yang tidak selalu berkembang sesuai dengan jadwal yang ditentukan. Itu bisa terjadi dengan cepat, atau bisa memakan waktu lebih lama. Saya pikir sulit untuk diprediksi dengan tingkat kepastian apa pun. Tapi menurut saya dalam dekade berikutnya, kita mungkin memiliki sistem AI yang sangat kuat. Di dunia seperti itu, saya pikir penting dan mendesak untuk menyelesaikan masalah ini, oleh karena itu saya menyerukan kepada komunitas internasional untuk bekerja sama menyelesaikan masalah ini. Sejarah memang memberi kita beberapa contoh teknologi baru yang mengubah dunia lebih cepat dari yang dibayangkan banyak orang. Dampak dan percepatan sistem ini yang kita lihat sekarang belum pernah terjadi sebelumnya. Jadi menurut saya sangat masuk akal untuk mempersiapkan hal itu terjadi secepat mungkin, dan untuk mengatasi aspek keamanan, mengingat dampak dan kepentingannya.
Zhang Hongjiang: Apakah Anda merasakan urgensi?
Sam Altman: Ya, saya merasakannya. Saya ingin menekankan bahwa kita tidak benar-benar tahu. Dan definisi kecerdasan buatan berbeda, tapi menurut saya dalam sepuluh tahun, kita harus siap menghadapi dunia dengan sistem yang sangat kuat.
Zhang Hongjiang: Anda juga menyebutkan beberapa kerja sama global dalam pidato Anda barusan. Kita tahu bahwa dunia telah menghadapi banyak krisis dalam enam atau tujuh dekade terakhir. Tetapi untuk banyak dari krisis ini, kami berhasil membangun konsensus dan kerja sama global. Anda juga sedang dalam tur global. Kolaborasi global seperti apa yang Anda promosikan? Bagaimana perasaan Anda tentang umpan balik yang Anda terima sejauh ini?
Sam Altman: Ya, saya sangat senang dengan umpan balik yang saya terima sejauh ini. Saya pikir orang mengambil risiko dan peluang yang disajikan oleh AI dengan sangat serius. Saya pikir diskusi tentang ini telah berlangsung lama dalam enam bulan terakhir. Orang-orang benar-benar berupaya mencari kerangka kerja di mana kita dapat menikmati manfaat ini sambil bekerja sama untuk mengurangi risiko. Saya pikir kami berada dalam posisi yang sangat baik untuk melakukan itu. Kerja sama global selalu sulit, tetapi saya melihatnya sebagai peluang dan ancaman yang dapat menyatukan dunia. Akan sangat membantu jika kami dapat mengembangkan beberapa kerangka kerja dan standar keamanan untuk memandu pengembangan sistem ini.
Zhang Hongjiang: Pada topik khusus ini, Anda menyebutkan bahwa penyelarasan sistem kecerdasan buatan tingkat lanjut adalah masalah yang belum terpecahkan. Saya juga memperhatikan bahwa Open AI telah berupaya keras selama beberapa tahun terakhir. Anda juga menyebutkan GPT-4 sebagai contoh terbaik dalam hal penyelarasan. Apakah menurut Anda kami dapat menyelesaikan masalah keamanan AI melalui penyelarasan? Atau apakah masalah ini lebih besar dari penyelarasan?
Sam Altman: Saya pikir ada penggunaan kata penyelarasan yang berbeda. Saya pikir yang perlu kita atasi adalah seluruh tantangan tentang bagaimana mencapai sistem AI yang aman. Penyelarasan secara tradisional adalah tentang membuat model berperilaku seperti yang diinginkan pengguna, dan itu pasti bagian darinya. Tetapi ada pertanyaan lain yang perlu kami jawab, seperti bagaimana kami memverifikasi bahwa sistem melakukan apa yang kami inginkan, dan dengan nilai siapa kami menyelaraskan sistem. Tapi menurut saya penting untuk melihat gambaran lengkap tentang apa yang dibutuhkan untuk mencapai AI yang aman.
Zhang Hongjiang: Ya, keselarasan masih terjadi. Jika kita melihat apa yang telah dilakukan GPT-4, sebagian besar masih dari segi teknis. Tapi ada banyak faktor lain selain teknologi. Ini adalah masalah yang sangat kompleks. Seringkali masalah kompleks bersifat sistemik. Keamanan AI mungkin tidak terkecuali. Selain aspek teknis, faktor dan masalah lain apa yang menurut Anda penting untuk keamanan AI? Bagaimana seharusnya kita menanggapi tantangan-tantangan ini? Terutama karena kebanyakan dari kita adalah ilmuwan, apa yang harus kita lakukan?
Sam Altman: Ini tentu saja pertanyaan yang sangat rumit. Saya akan mengatakan bahwa tanpa solusi teknis, yang lainnya sulit. Saya pikir sangat penting untuk menaruh banyak fokus untuk memastikan bahwa kami menangani aspek teknis keamanan. Seperti yang saya sebutkan, bukan masalah teknis untuk mengetahui nilai apa yang ingin kita selaraskan dengan sistem. Ini membutuhkan masukan teknis, tetapi ini adalah masalah yang membutuhkan diskusi mendalam oleh seluruh masyarakat. Kita harus merancang sistem yang adil, representatif, dan inklusif. Dan, seperti yang Anda tunjukkan, kami harus mempertimbangkan tidak hanya keamanan model AI itu sendiri, tetapi juga keamanan seluruh sistem. Jadi, penting juga untuk membuat pengklasifikasi dan pendeteksi keamanan yang dapat berjalan di atas model dan dapat memantau kepatuhan terhadap kebijakan penggunaan. Dan kemudian, saya juga merasa sulit untuk memprediksi sebelumnya apa yang salah dengan teknologi apa pun. Jadi belajarlah dari dunia nyata dan terapkan secara iteratif, lihat apa yang terjadi saat Anda menempatkan model di dunia nyata, dan tingkatkan, serta berikan waktu kepada orang dan masyarakat untuk belajar dan memperbarui, dan pikirkan tentang bagaimana model ini akan digunakan untuk kebaikan dan mempengaruhi hidup mereka dengan cara yang buruk. Ini juga sangat penting.
Zhang Hongjiang: Anda baru saja menyebutkan kerja sama global. Anda telah mengunjungi banyak negara dan Anda menyebut Cina. Tapi bisakah Anda membagikan beberapa hasil yang telah Anda capai dalam hal kolaborasi? Rencana atau ide apa yang Anda miliki untuk langkah selanjutnya? Dari tur dunia ini, dari interaksi Anda dengan berbagai pemerintah, institusi, institusi?
Sam Altman: Saya pikir banyak perspektif berbeda dan keamanan AI umumnya diperlukan. Kami belum memiliki semua jawaban, dan ini adalah pertanyaan yang agak sulit dan penting.
Juga, seperti yang disebutkan, ini bukan pertanyaan teknis murni untuk membuat AI aman dan bermanfaat. Melibatkan pemahaman preferensi pengguna di berbagai negara dalam konteks yang sangat berbeda. Kami membutuhkan banyak masukan berbeda untuk mewujudkannya. China memiliki beberapa talenta AI terbaik di dunia. Pada dasarnya, menurut saya pemikiran terbaik dari seluruh dunia diperlukan untuk mengatasi kesulitan menyelaraskan sistem AI tingkat lanjut. Jadi saya sangat berharap peneliti AI China dapat memberikan kontribusi besar di sini.
Zhang Hongjiang: Saya mengerti bahwa forum hari ini adalah tentang keamanan AI, karena orang sangat ingin tahu tentang OpenAI, jadi saya punya banyak pertanyaan tentang OpenAI, bukan hanya tentang keamanan AI. Saya memiliki pertanyaan audiens di sini, apakah ada rencana OpenAI untuk membuka kembali modelnya seperti sebelum versi 3.0? Saya juga berpikir open source bagus untuk keamanan AI.
Sam Altman: Beberapa model kami adalah open source dan beberapa tidak, tetapi seiring berjalannya waktu, saya pikir Anda harus mengharapkan kami untuk terus membuka lebih banyak model open source di masa mendatang. Saya tidak memiliki model atau garis waktu tertentu, tetapi itu adalah sesuatu yang sedang kita diskusikan saat ini.
Zhang Hongjiang: Kami mengerahkan semua upaya kami ke sumber terbuka, termasuk model itu sendiri, algoritme untuk mengembangkan model, dan alat untuk mengoptimalkan hubungan antara model dan data. Kami percaya pada kebutuhan untuk berbagi dan membuat pengguna merasa memegang kendali atas apa yang mereka gunakan. Apakah Anda memiliki umpan balik serupa? Atau ini yang kalian diskusikan di OpenAI?
Sam Altman: Ya, menurut saya open source memang memiliki peran penting. Ada juga banyak model open source baru yang muncul belakangan ini. Menurut saya model API juga memiliki peran penting. Ini memberi kami kontrol keamanan tambahan. Anda dapat memblokir penggunaan tertentu. Anda dapat memblokir jenis tweak tertentu. Jika ada yang tidak berfungsi, Anda dapat mengambilnya kembali. Pada skala model saat ini, saya tidak terlalu khawatir tentang itu. Tapi karena modelnya menjadi sekuat yang kita harapkan, jika kita benar tentangnya, menurut saya open source semuanya mungkin bukan jalan terbaik, meskipun terkadang itu benar. Saya pikir kita hanya perlu menyeimbangkannya dengan hati-hati.
Zhang Hongjiang: Pertanyaan lanjutan tentang keamanan GPT-4 dan AI adalah, apakah kita perlu mengubah seluruh infrastruktur atau arsitektur seluruh model AGI agar lebih aman dan mudah untuk diperiksa? Apa pendapat Anda tentang ini?
Sam Altman: Sangat mungkin, kami memerlukan beberapa arsitektur yang sangat berbeda, baik dari segi kemampuan maupun keamanan. Saya pikir kita akan dapat membuat beberapa kemajuan dalam penjelasan, pada jenis model saat ini, dan meminta mereka menjelaskan dengan lebih baik kepada kita apa yang mereka lakukan dan mengapa. Tapi tidak mengejutkan saya jika ada lompatan raksasa lain setelah transformer. Dan sebenarnya kita sudah berada di trafo aslinya, arsitekturnya sudah banyak berubah.
Zhang Hongjiang: Sebagai seorang peneliti, saya juga penasaran, kemana arah penelitian AGI selanjutnya? Dalam hal model besar, model bahasa besar, apakah kita akan segera melihat GPT-5? Apakah perbatasan berikutnya dalam model yang diwujudkan? Apakah robot otonom merupakan area yang sedang atau akan dijelajahi oleh OpenAI?
Sam Altman: Saya juga ingin tahu tentang apa selanjutnya, dan salah satu hal favorit saya tentang melakukan pekerjaan ini adalah ada banyak kegembiraan dan kejutan di penelitian mutakhir. Kami belum memiliki jawabannya, jadi kami mengeksplorasi banyak kemungkinan paradigma baru. Tentu saja, pada titik tertentu, kami akan mencoba membuat model GPT-5, tetapi tidak dalam waktu dekat. Kami tidak tahu kapan persisnya. Kami telah mengerjakan robotika sejak awal OpenAI, dan kami sangat tertarik dengannya, tetapi kami mengalami beberapa kesulitan. Saya berharap suatu hari kita bisa kembali ke lapangan ini.
Zhang Hongjiang: Kedengarannya bagus. Anda juga menyebutkan dalam presentasi Anda bagaimana Anda menggunakan GPT-4 untuk menjelaskan cara kerja GPT-2, membuat model lebih aman. Apakah pendekatan ini dapat diskalakan? Apakah arah OpenAI ini akan terus maju di masa depan?
Sam Altman: Kami akan terus mendorong ke arah ini.
Zhang Hongjiang: Apakah menurut Anda metode ini dapat diterapkan pada neuron biologis? Karena alasan saya mengajukan pertanyaan ini adalah karena ada beberapa ahli biologi dan ahli saraf yang ingin menggunakan metode ini untuk mempelajari dan mengeksplorasi cara kerja neuron manusia di bidangnya.
Sam Altman: Jauh lebih mudah melihat apa yang terjadi pada neuron buatan daripada neuron biologis. Jadi menurut saya pendekatan ini berlaku untuk jaringan syaraf tiruan. Saya pikir ada cara untuk menggunakan model yang lebih kuat untuk membantu kita memahami model lain. Tapi saya tidak begitu yakin bagaimana Anda akan menerapkan pendekatan ini pada otak manusia.
Zhang Hongjiang: Oke, terima kasih. Sekarang kita telah berbicara tentang keamanan AI dan kontrol AGI, salah satu pertanyaan yang telah kita diskusikan adalah apakah akan lebih aman jika hanya ada tiga model di dunia? Ini seperti kontrol nuklir, Anda tidak ingin senjata nuklir berkembang biak. Kami memiliki perjanjian ini di mana kami mencoba untuk mengontrol jumlah negara yang bisa mendapatkan teknologi ini. Jadi, apakah mengendalikan jumlah model merupakan arah yang layak?
Sam Altman: Saya pikir ada perbedaan pendapat tentang apakah lebih aman memiliki model minoritas atau model mayoritas di dunia. Saya pikir ini lebih penting, apakah kita memiliki sistem di mana model yang kuat diuji keamanannya secara memadai? Apakah kita memiliki kerangka kerja di mana siapa pun yang membuat model yang cukup kuat memiliki sumber daya dan tanggung jawab untuk memastikan bahwa apa yang mereka buat aman dan selaras?
Zhang Hongjiang: Pada pertemuan kemarin, Profesor Max dari MIT Future of Life Institute menyebutkan metode yang mungkin, yang mirip dengan cara kita mengontrol pengembangan obat. Ketika ilmuwan atau perusahaan mengembangkan obat baru, Anda tidak dapat langsung memasarkannya. Anda harus melalui proses pengujian ini. Apakah ini sesuatu yang bisa kita pelajari?
Sam Altman: Saya yakin kita bisa belajar banyak dari kerangka lisensi dan pengujian yang telah dikembangkan di berbagai industri. Tapi saya pikir pada dasarnya kita punya sesuatu yang bisa berhasil.
Zhang Hongjiang: Terima kasih banyak, Sam. Terima kasih telah meluangkan waktu untuk menghadiri pertemuan ini, meskipun secara virtual. Saya yakin ada lebih banyak pertanyaan, tetapi mengingat waktunya, kita harus berhenti di sini. Saya harap lain kali Anda memiliki kesempatan untuk datang ke China, datang ke Beijing, kita dapat berdiskusi lebih mendalam. Terima kasih banyak.