Texto completo do Diálogo da China de Sam Altman: Devemos estar alertas para os riscos da IA, mas é muito mais fácil entender as redes neurais do que entender o que as pessoas estão pensando

Autor｜Neil Shen

Fonte丨Pinwan

O discurso de Sam Altman ocorreu no subfórum AI Security and Alignment da Zhiyuan Conference em 10 de junho. A cena estava cheia de assentos. Quando o CEO da OpenAI apareceu na tela, houve aplausos e quase todos levantaram seus celulares para tirar fotos na tela.

Mas o próprio Altman parece calmo, até cauteloso. Esta é a primeira vez desde que o ChatGPT provocou o boom global da IA no ano passado que Sam Altman expressou publicamente suas opiniões sobre um passado chinês.

Na verdade, ele também não estava longe da China naquele dia, havia acabado de chegar a Seul e se reuniu com o presidente sul-coreano. Após seu discurso, ele também teve uma sessão de perguntas e respostas individual com Zhang Hongjiang, presidente do Zhiyuan Research Institute. A seguir estão os principais pontos e fatos.

Pontos chave:

À medida que nos aproximamos cada vez mais da AGI em tecnologia, os efeitos e as armadilhas do desalinhamento aumentarão exponencialmente.

Atualmente, a OpenAI usa a tecnologia de feedback humano de aprendizado por reforço para garantir que os sistemas de IA sejam úteis e seguros, e também está explorando novas tecnologias. Uma das ideias é usar sistemas de IA para ajudar os humanos a supervisionar outros sistemas de IA.

Os seres humanos terão poderosos sistemas de inteligência artificial (IA) dentro de dez anos.

O OpenAI não tem um novo cronograma de código aberto relevante e, embora ele reconheça que o modelo de código aberto tem vantagens quando se trata de segurança de IA, o código aberto pode não ser o melhor caminho.

É muito mais fácil entender uma rede neural do que um cérebro humano.

A China tem os melhores talentos de inteligência artificial, e a segurança da IA requer a participação e contribuição de pesquisadores chineses.

A seguir, a transcrição do discurso:

Hoje, quero falar sobre o futuro. Especificamente, a taxa de crescimento que estamos vendo nos recursos de IA. O que precisamos fazer agora para preparar o mundo com responsabilidade para sua introdução, a história da ciência nos ensinou que o progresso tecnológico segue uma curva exponencial. Já podemos ver isso na história, desde a agricultura e a indústria até a revolução da computação. O que é surpreendente sobre a inteligência artificial não é apenas seu impacto, mas também a velocidade de seu progresso. Ele ultrapassa os limites da imaginação humana e o faz em um ritmo acelerado.

Imagine que, na próxima década, os sistemas comumente referidos como inteligência geral artificial (AGI) superem a experiência humana em quase todos os domínios. Esses sistemas podem eventualmente exceder a produtividade coletiva de nossas maiores empresas. Há um enorme potencial de valorização à espreita aqui. A revolução da IA criará riqueza compartilhada e possibilitará melhorar o padrão de vida de todos, abordar desafios comuns, como mudança climática e segurança da saúde global, e melhorar o bem-estar social de inúmeras outras maneiras.

Acredito fortemente neste futuro e, para realizá-lo e aproveitá-lo, precisamos investir coletivamente na segurança da AGI e gerenciar riscos. Se não formos cuidadosos, um sistema AGI que não seja adequado ao propósito pode prejudicar todo o sistema de saúde, fazendo recomendações infundadas. Da mesma forma, um sistema AGI projetado para otimizar as práticas agrícolas pode esgotar inadvertidamente os recursos naturais ou danificar os ecossistemas, afetando a produção de alimentos e o equilíbrio ambiental devido à falta de consideração pela sustentabilidade a longo prazo.

Espero que todos possamos concordar que o avanço da segurança AGI é uma de nossas áreas mais importantes. Quero focar o resto da minha palestra em onde acho que podemos começar.

Uma área é a governança da AGI, uma tecnologia com implicações globais. O custo de acidentes de desenvolvimento e implantação imprudentes afetará a todos nós.

A este respeito, existem dois elementos-chave:

Primeiro, precisamos estabelecer normas e padrões internacionais e, por meio de um processo inclusivo, desenvolver proteções iguais e uniformes para o uso de AGI em todos os países. Dentro dessas proteções, acreditamos que as pessoas têm ampla oportunidade de fazer suas próprias escolhas.

Em segundo lugar, precisamos de cooperação internacional para construir a confiança global no desenvolvimento seguro de sistemas de IA cada vez mais poderosos, de forma verificável. Esta não é uma tarefa fácil. Precisamos de atenção contínua e crítica como comunidade internacional para fazer isso bem. O Tao Te Ching nos lembra que uma jornada de mil milhas começa com um único passo. Acreditamos que o primeiro passo mais construtivo a ser dado aqui é trabalhar com a comunidade internacional de tecnologia.

Em particular, devemos promover mecanismos para maior transparência e compartilhamento de conhecimento sobre os avanços tecnológicos na segurança AGI. Pesquisadores que descobrem problemas de segurança emergentes devem compartilhar suas percepções para o bem maior. Precisamos pensar cuidadosamente sobre como podemos encorajar tais normas enquanto respeitamos e protegemos os direitos de propriedade intelectual.

Se fizermos isso bem, abriremos novas portas para aprofundarmos nossa cooperação. De forma mais ampla, devemos investir, facilitar e direcionar o investimento em pesquisas de direcionamento e segurança.

Na OpenAI, nossa pesquisa direcionada hoje se concentra em questões técnicas sobre como fazer com que os sistemas de IA atuem como assistentes úteis e seguros em nossos sistemas atuais. Isso pode significar como treinamos o ChatGPT para que ele não faça ameaças de violência ou ajude os usuários em atividades prejudiciais.

Mas à medida que nos aproximamos da AGI, o impacto potencial e a magnitude de qualquer não conformidade crescerão exponencialmente. Para enfrentar esses desafios com antecedência, nos esforçamos para minimizar o risco de resultados catastróficos futuros. Para o sistema atual, usamos principalmente aprendizado por reforço a partir de feedback humano para treinar nosso modelo para atuar como um assistente útil e seguro.

Este é um exemplo de técnica-alvo pós-treinamento, e estamos ocupados desenvolvendo novas também. É preciso muito trabalho de engenharia para fazer isso bem. Levamos 8 meses para fazer isso desde o momento em que o GPT-4 terminou o pré-treinamento até a implantação. No geral, achamos que estamos no caminho certo aqui. O GPT-4 se ajusta melhor ao alvo do que qualquer um de nossos modelos anteriores.

No entanto, o direcionamento continua sendo um problema em aberto para sistemas mais avançados, que acreditamos exigirão novas abordagens técnicas, bem como mais governança e supervisão. Imagine um sistema AGI futurístico chegando com 100.000 linhas de código binário. É improvável que supervisores humanos detectem se tal modelo está fazendo algo nefasto.

Portanto, estamos investindo em algumas direções de pesquisa novas e complementares que esperamos que levem a avanços. Uma delas é a supervisão escalável. Podemos tentar usar sistemas de IA para ajudar os humanos a supervisionar outros sistemas de IA. Por exemplo, podemos treinar um modelo para ajudar supervisores humanos a identificar falhas na saída de outros modelos. A segunda é a interpretabilidade. Queríamos tentar entender melhor o que está acontecendo dentro desses modelos.

Publicamos recentemente um artigo usando GPT-4 para interpretar neurônios em GPT-2. Em outro artigo, usamos internos do modelo para detectar quando o modelo está mentindo. Embora ainda tenhamos um longo caminho a percorrer, acreditamos que técnicas avançadas de aprendizado de máquina podem melhorar ainda mais nossa capacidade de gerar explicações.

Em última análise, nosso objetivo é treinar sistemas de IA para ajudar a direcionar a própria pesquisa. Um aspecto promissor dessa abordagem é que ela se adapta ao ritmo do desenvolvimento da IA. À medida que os modelos futuros se tornam cada vez mais inteligentes e úteis como assistentes, encontraremos técnicas melhores que percebam os benefícios extraordinários da AGI enquanto mitigam os riscos, um dos desafios mais importantes de nosso tempo.

A seguir, a transcrição da conversa:

Zhang Hongjiang: A que distância estamos da inteligência artificial? O risco é urgente ou estamos longe disso? Seja uma IA segura ou uma IA potencialmente insegura.

Sam Altman: Esse problema é difícil de prever precisamente porque requer novas ideias de pesquisa que nem sempre se desenvolvem de acordo com o cronograma prescrito. Pode acontecer rapidamente, ou pode demorar mais. Eu acho que é difícil prever com algum grau de certeza. Mas acho que, na próxima década, poderemos ter sistemas de IA muito poderosos. Em tal mundo, penso que é importante e urgente resolver este problema, razão pela qual apelo à comunidade internacional para trabalhar em conjunto para resolver este problema. A história nos dá alguns exemplos de novas tecnologias mudando o mundo mais rápido do que muitos imaginam. O impacto e a aceleração desses sistemas que estamos vendo agora são, de certa forma, sem precedentes. Então acho que faz muito sentido estarmos preparados para que isso aconteça o mais rápido possível, e abordarmos os aspectos de segurança, dado o seu impacto e importância.

Zhang Hongjiang: Você sente uma sensação de urgência?

Sam Altman: Sim, eu sinto isso. Quero enfatizar que realmente não sabemos. E a definição de inteligência artificial é diferente, mas acho que em dez anos estaremos prontos para um mundo com sistemas muito poderosos.

Zhang Hongjiang: Você também mencionou várias cooperações globais em seu discurso agora. Sabemos que o mundo enfrentou muitas crises nas últimas seis ou sete décadas. Mas para muitas dessas crises, conseguimos construir consenso e cooperação global. Você também está em uma turnê global. Que tipo de colaboração global você está promovendo? Como você se sente sobre o feedback que recebeu até agora?

Sam Altman: Sim, estou muito feliz com o feedback que recebi até agora. Acho que as pessoas estão levando muito a sério os riscos e oportunidades apresentados pela IA. Acho que a discussão sobre isso percorreu um longo caminho nos últimos seis meses. As pessoas estão realmente trabalhando para descobrir uma estrutura em que possamos aproveitar esses benefícios enquanto trabalhamos juntos para mitigar os riscos. Acho que estamos em uma posição muito boa para fazer isso. A cooperação global é sempre difícil, mas vejo isso como uma oportunidade e uma ameaça que pode unir o mundo. Seria muito útil se pudéssemos desenvolver algumas estruturas e padrões de segurança para orientar o desenvolvimento desses sistemas.

Zhang Hongjiang: Sobre este tópico específico, você mencionou que o alinhamento de sistemas avançados de inteligência artificial é um problema não resolvido. Também notei que o Open AI colocou muito esforço nisso nos últimos anos. Você também mencionou o GPT-4 como o melhor exemplo em termos de alinhamento. Você acha que podemos resolver problemas de segurança de IA por meio do alinhamento? Ou esse problema é maior que o alinhamento?

Sam Altman: Acho que existem diferentes usos da palavra alinhamento. Acho que o que precisamos abordar é todo o desafio de como obter sistemas de IA seguros. Tradicionalmente, o alinhamento consiste em fazer com que o modelo se comporte como o usuário pretende, e isso certamente faz parte. Mas há outras questões que precisamos responder, como como verificamos se os sistemas fazem o que queremos e com quais valores alinhamos os sistemas. Mas acho importante ter uma visão completa do que é necessário para alcançar uma IA segura.

Zhang Hongjiang: Sim, o alinhamento ainda é o caso. Se olharmos para o que o GPT-4 fez, na maior parte, ainda é do ponto de vista técnico. Mas há muitos outros fatores além da tecnologia. Esta é uma questão muito complexa. Frequentemente, problemas complexos são sistêmicos. A segurança da IA pode não ser exceção. Além dos aspectos técnicos, que outros fatores e problemas você acha que são críticos para a segurança da IA? Como devemos responder a esses desafios? Especialmente porque a maioria de nós somos cientistas, o que devemos fazer?

Sam Altman: Claro que esta é uma questão muito complexa. Eu diria que sem uma solução técnica, todo o resto é difícil. Eu acho que é realmente importante colocar muito foco em garantir que abordamos os aspectos técnicos da segurança. Como mencionei, não é um problema técnico descobrir com quais valores queremos alinhar o sistema. Necessita de aporte técnico, mas é um tema que requer discussão aprofundada por toda a sociedade. Devemos projetar sistemas que sejam justos, representativos e inclusivos. E, como você apontou, temos que considerar não apenas a segurança do próprio modelo de IA, mas a segurança de todo o sistema. Portanto, também é importante criar classificadores e detectores de segurança que possam ser executados no modelo e monitorar a conformidade com as políticas de uso. E também acho difícil prever com antecedência o que vai dar errado com qualquer tecnologia. Portanto, aprenda com o mundo real e implemente de forma iterativa, veja o que acontece quando você coloca o modelo no mundo real e o aprimora, e dá às pessoas e à sociedade tempo para aprender e atualizar, e pense em como esses modelos serão usados para o bem e para o bem. afetam suas vidas de maneira ruim. Isso também é muito importante.

Zhang Hongjiang: Você acabou de mencionar a cooperação global. Você visitou muitos países e mencionou a China. Mas você pode compartilhar alguns dos resultados que alcançou em termos de colaboração? Que planos ou ideias você tem para os próximos passos? Dessa turnê mundial, de suas interações com vários governos, instituições, instituições?

Sam Altman: Acho que geralmente são necessárias muitas perspectivas diferentes e segurança de IA. Ainda não temos todas as respostas, e esta é uma questão bastante difícil e importante.

Além disso, como mencionado, não é uma questão puramente técnica tornar a IA segura e benéfica. Envolve entender as preferências do usuário em diferentes países em contextos muito diferentes. Precisamos de muitas entradas diferentes para fazer isso acontecer. A China tem alguns dos melhores talentos de IA do mundo. Fundamentalmente, acho que as melhores mentes de todo o mundo são necessárias para lidar com a dificuldade de alinhar sistemas avançados de IA. Então, eu realmente espero que os pesquisadores chineses de IA possam fazer grandes contribuições aqui.

Zhang Hongjiang: Eu entendo que o fórum de hoje é sobre segurança de IA, porque as pessoas estão muito curiosas sobre OpenAI, então tenho muitas perguntas sobre OpenAI, não apenas sobre segurança de IA. Eu tenho uma pergunta do público aqui, há algum plano para OpenAI reabrir o código de seus modelos como fazia antes da versão 3.0? Também acho que o código aberto é bom para a segurança da IA.

Sam Altman: Alguns de nossos modelos são de código aberto e outros não, mas com o passar do tempo, acho que você deve esperar que continuemos a abrir mais modelos de código aberto no futuro. Não tenho um modelo ou cronograma específico, mas é algo que estamos discutindo agora.

Zhang Hongjiang: Colocamos todos os nossos esforços em código aberto, incluindo o próprio modelo, os algoritmos para desenvolver o modelo e as ferramentas para otimizar a relação entre o modelo e os dados. Acreditamos na necessidade de compartilhar e fazer com que os usuários se sintam no controle do que usam. Você tem feedback semelhante? Ou é isso que vocês estão discutindo no OpenAI?

Sam Altman: Sim, acho que o código aberto tem um papel importante de certa forma. Também surgiram muitos novos modelos de código aberto recentemente. Acho que o modelo de API também tem um papel importante. Ele nos fornece controles de segurança adicionais. Você pode bloquear certos usos. Você pode bloquear certos tipos de ajustes. Se algo não funcionar, você pode devolvê-lo. Na escala do modelo atual, não estou muito preocupado com isso. Mas, à medida que o modelo se torna tão poderoso quanto esperamos, se estivermos certos sobre isso, acho que o código aberto pode não ser o melhor caminho, embora às vezes esteja certo. Acho que só temos que equilibrar com cuidado.

Zhang Hongjiang: A pergunta de acompanhamento sobre GPT-4 e segurança de IA é: precisamos alterar toda a infraestrutura ou a arquitetura de todo o modelo AGI para torná-lo mais seguro e fácil de verificar? Quais são seus pensamentos sobre isso?

Sam Altman: É definitivamente possível, precisamos de algumas arquiteturas muito diferentes, tanto em termos de recursos quanto de segurança. Acho que seremos capazes de fazer algum progresso na explicabilidade, nos tipos atuais de modelos, e fazer com que eles nos expliquem melhor o que estão fazendo e por quê. Mas não me surpreenderia se houvesse outro salto gigante após os transformadores. E na verdade já estamos no transformador original, a arquitetura mudou muito.

Zhang Hongjiang: Como pesquisador, também estou curioso, qual é a próxima direção da pesquisa AGI? Em termos de grandes modelos, grandes modelos de linguagem, veremos o GPT-5 em breve? A próxima fronteira é em modelos incorporados? A robótica autônoma é uma área que a OpenAI é ou planeja explorar?

Sam Altman: Também estou curioso sobre o que vem a seguir, e uma das minhas coisas favoritas sobre fazer este trabalho é que há muita emoção e surpresa na vanguarda da pesquisa. Ainda não temos as respostas, então estamos explorando muitos novos paradigmas possíveis. Claro que, em algum momento, tentaremos fazer um modelo GPT-5, mas não tão cedo. Não sabemos quando exatamente. Trabalhamos com robótica desde o início do OpenAI e estamos muito interessados nisso, mas tivemos algumas dificuldades. Espero que um dia possamos voltar a este campo.

Zhang Hongjiang: Parece ótimo. Você também mencionou em sua apresentação como usa o GPT-4 para explicar como o GPT-2 funciona, tornando o modelo mais seguro. Essa abordagem é escalável? É nessa direção que a OpenAI continuará avançando no futuro?

Sam Altman: Continuaremos a avançar nessa direção.

Zhang Hongjiang: Você acha que esse método pode ser aplicado a neurônios biológicos? Porque a razão pela qual faço esta pergunta é que existem alguns biólogos e neurocientistas que querem usar este método para estudar e explorar como os neurônios humanos funcionam em seu campo.

Sam Altman: É muito mais fácil ver o que está acontecendo em neurônios artificiais do que em neurônios biológicos. Portanto, acho que essa abordagem é válida para redes neurais artificiais. Acho que existe uma maneira de usar modelos mais poderosos para nos ajudar a entender outros modelos. Mas não tenho certeza de como você aplicaria essa abordagem ao cérebro humano.

Zhang Hongjiang: OK, obrigado. Agora que falamos sobre segurança de IA e controle de AGI, uma das questões que discutimos é: não seria mais seguro se houvesse apenas três modelos no mundo? É como o controle nuclear, você não quer que as armas nucleares proliferem. Temos esse tratado onde tentamos controlar o número de países que podem obter essa tecnologia. Então, controlar o número de modelos é uma direção viável?

Sam Altman: Acho que há opiniões diferentes sobre se é mais seguro ter um modelo minoritário ou majoritário no mundo. Eu acho que é mais importante, nós temos um sistema onde qualquer modelo robusto é adequadamente testado quanto à segurança? Temos uma estrutura em que qualquer pessoa que crie um modelo suficientemente robusto tenha os recursos e a responsabilidade de garantir que o que eles criam seja seguro e alinhado?

Zhang Hongjiang: Nesta reunião de ontem, o professor Max, do MIT Future of Life Institute, mencionou um possível método, que é semelhante à forma como controlamos o desenvolvimento de medicamentos. Quando cientistas ou empresas desenvolvem novos medicamentos, você não pode comercializá-los diretamente. Você tem que passar por este processo de teste. Isso é algo que podemos aprender?

Sam Altman: Definitivamente, acho que podemos aprender muito com as estruturas de licenciamento e teste desenvolvidas em diferentes setores. Mas acho que fundamentalmente temos algo que pode funcionar.

Zhang Hongjiang: Muito obrigado, Sam. Obrigado por dedicar seu tempo para participar desta reunião, ainda que virtualmente. Tenho certeza de que há muito mais perguntas, mas devido ao tempo, temos que parar por aqui. Espero que da próxima vez que você tiver a oportunidade de vir à China, venha a Pequim, possamos ter uma discussão mais aprofundada. muito obrigado.