Sam Altman, CEO da OpenAI, deixará o comitê interno de segurança criado pela empresa em maio para supervisionar decisões críticas relacionadas à segurança de seus projetos e operações. Em uma publicação no blog da OpenAI, a empresa revelou que o comitê de segurança se transformará em um grupo independente de supervisão, liderado pelo professor Zico Kolter, da Carnegie Mellon University.

Outros membros incluem Adam D’Angelo, CEO do Quora, o General aposentado Paul Nakasone, do Exército dos EUA, e a ex-vice-presidente da Sony, Nicole Seligman. Mas todos já faziam parte do conselho de administração da OpenAI.

Após a saída de Altman, o comitê conduziu uma revisão de segurança do o1, o modelo de inteligência artificial (IA) mais recente da OpenAI. Segundo a empresa, o grupo continuará recebendo relatórios periódicos das equipes de segurança. Portanto, manterá o poder de adiar lançamentos caso as preocupações de segurança não sejam resolvidas.

Responsabilidades do Comitê de Segurança da OpenAI

O Safety and Security Committee terá a função de acompanhar avaliações técnicas de modelos atuais e futuros, além de monitorar o desempenho das IAs após seus lançamentos. A OpenAI afirmou que está aprimorando seus processos de lançamento, buscando critérios claros de sucesso para garantir a segurança e a integridade desses modelos.

Principais recomendações de segurança

A postagem no blog da OpenAI detalhou cinco áreas de melhoria nas práticas de segurança e governança que implementadas após uma revisão de 90 dias feita pelo comitê:

1. Governança independente de segurança: o SSC se tornará um comitê independente de supervisão do conselho, responsável por monitorar os processos de segurança da OpenAI para o desenvolvimento e implantação de modelos de IA. O comitê tem a autoridade de adiar lançamentos de modelos caso identifique riscos de segurança.
2. Aprimoramento de medidas de segurança: a OpenAI está expandindo suas operações de segurança para lidar com os riscos crescentes associados ao desenvolvimento de IA. Entre as iniciativas, a empresa está estudando a criação de um Information Sharing and Analysis Center (ISAC) para facilitar o compartilhamento de informações sobre ameaças cibernéticas no setor de IA.
3. Transparência nos trabalhos de segurança: a empresa busca maior transparência, divulgando cartões de sistema que explicam as capacidades e riscos de seus modelos. No lançamento do GPT-4 e do o1, portanto, publicaram avaliações detalhadas sobre o trabalho de mitigação de riscos realizado.
4. Colaboração com organizações externas: a OpenAI está intensificando colaborações com organizações independentes e laboratórios governamentais, como o Los Alamos National Labs, para aprimorar a segurança no uso de IA em ambientes científicos. Além disso, a empresa firmou acordos com institutos de segurança de IA nos EUA e no Reino Unido.
5. Unificação de estruturas de segurança: a empresa está estabelecendo um quadro integrado de segurança para o desenvolvimento e monitoramento de seus modelos, com critérios claros de sucesso. Este quadro evoluirá à medida que os modelos se tornem mais complexos e poderosos, a fim de garantir a segurança em todas as etapas.

Pressão externa e críticas

A saída de Altman do comitê ocorre em meio a questionamentos feitos por cinco senadores norte-americanos sobre as políticas da OpenAI. Em uma carta enviada ao CEO, os senadores levantaram dúvidas sobre o compromisso da empresa com a regulamentação da IA.

Além disso, quase metade da equipe original da OpenAI, focada nos riscos a longo prazo da IA deixou a empresa. Ex-pesquisadores acusaram Altman de se opor a uma regulamentação “real” da IA, favorecendo políticas que priorizam os interesses comerciais da empresa.

A OpenAI aumentou significativamente seus gastos com lobby federal. Destinando US$ 800.000 para os primeiros seis meses de 2024, em comparação aos US$ 260.000 gastos em todo o ano anterior.

Altman também passou a integrar o Conselho de Segurança e Proteção da Inteligência Artificial do Departamento de Segurança Interna dos EUA. O órgão que oferece recomendações sobre o desenvolvimento de IA em infraestruturas críticas do país.

Interesses comerciais da OpenAI

Mesmo com a saída de Altman do comitê, há indícios de que o grupo não tomará decisões que possam impactar negativamente a trajetória comercial da OpenAI. Em maio, a empresa afirmou que buscaria abordar críticas válidas através do comitê, embora o significado de “críticas válidas” seja relativo.

Em um artigo de opinião publicado em maio na revista The Economist, as ex-integrantes do conselho da OpenAI, Helen Toner e Tasha McCauley, expressaram ceticismo quanto à capacidade da empresa de se autogovernar de forma responsável. Elas argumentaram que “o autogoverno não pode resistir de maneira confiável à pressão dos incentivos ao lucro”.

Expansão e investimentos da OpenAI

Os incentivos financeiros da OpenAI têm crescido de forma significativa. Aliás, a empresa está em negociações para arrecadar mais de US$ 6,5 bilhões em uma nova rodada de investimentos. O que elevaria o valor da OpenAI para mais de US$ 150 bilhões.

Para fechar o acordo, a OpenAI pode abandonar sua estrutura híbrida de organização sem fins lucrativos, que inicialmente limitava o retorno dos investidores. A fim de manter a empresa alinhada com sua missão original, desenvolver uma inteligência artificial geral que “beneficie toda a humanidade.”