Algumas organizações e pesquisadores estão compartilhando pesos de redes neurais, principalmente por meio de peso aberto movimento do modelo. Isso inclui a série Llama da Meta, os modelos da Mistral e os lançamentos de peso aberto da DeepSeek, que prometem democratizar o acesso a uma IA poderosa. Mas isso levanta não apenas preocupações de segurança, mas também uma potencial ameaça existencial.
Para contextualizar, escrevi alguns artigos sobre LLMs e IAs como parte do meu próprio processo de aprendizagem neste campo de Pandora, tão dinâmico e em rápida evolução, que é a caixa aberta. Você pode lê-los aqui., aqui., e aqui..
Depois de entender o que são redes neurais e como elas são treinadas com base em dados, você também entenderá o que são pesos (e vieses) e retropropagação. Para ser honesto, é basicamente álgebra linear e multiplicação de vetores de matrizes para produzir números. Mais especificamente, um peso é um número (normalmente um valor de ponto flutuante – uma maneira de escrever números com pontos decimais para maior precisão) que representa a força ou importância da conexão entre dois neurônios ou nós em diferentes camadas da rede neural.
Recomendo fortemente assistir aos vídeos do 3Blue1Brown para entender melhor, e é importante que você faça isso. Os vídeos instrucionais do 3Blue1Brown são incrivelmente bons.
Os pesos são os valores dos parâmetros determinados a partir dos dados de uma rede neural para fazer previsões ou tomar decisões e chegar a uma solução. Cada peso é uma instrução que informa à rede a importância de determinadas informações, como o quanto prestar atenção a uma cor ou forma específica em uma imagem. Esses pesos são números que são ajustados durante o treinamento graças a todos esses pontos decimais, ajudando a rede a identificar padrões. Exemplos incluem reconhecer um cachorro em uma foto ou traduzir uma frase. Eles são cruciais no processo de "pensamento" de uma rede neural.
Você pode pensar nos pesos em uma rede neural como os caminhos de menor resistência que guiam a rede em direção à melhor solução. Imagine a água descendo uma colina, encontrando naturalmente os caminhos mais fáceis para chegar ao fundo. Em uma rede neural, os pesos são ajustados durante o treinamento em conjuntos de dados para criar os caminhos mais fáceis para o fluxo de informações, ajudando a rede a resolver problemas de forma rápida e precisa, como reconhecer padrões ou fazer previsões, enfatizando as conexões mais importantes e minimizando erros.
Se você é músico eletrônico, pense nos pesos como os botões do seu sintetizador analógico, que permitem sintonizar a frequência ou o som certo para, digamos, imitar um som que você deseja recriar ou, na verdade, criar um novo. Se você é especialista em som, também pode pensar nisso como ajustar os botões do seu mixer para equilibrar diferentes instrumentos.
Pesos são, de fato, parâmetros dinâmicos, o que significa que são muito mutáveis à medida que uma rede neural tende a uma previsão ou solução. Cada um também está associado ao seu próprio viés. O papel do viés é deslocar a saída, permitindo que o modelo se ajuste melhor aos dados, adicionando um compensar que ajusta o limite de decisão ou reconhecimento de padrões, que é independente da escala de entrada determinada pelos pesos.
Pense assim. Imagine que você está tentando recriar o som de uma guitarra no seu sintetizador. Os pesos controlam o quanto do dedilhado das cordas ou da ressonância do corpo você ouve. Se o que você ouve estiver um pouco plano, por exemplo, o bias é como adicionar um pequeno aumento ou deslocamento – digamos, um tom mais quente – para fazer com que soe mais parecido com a guitarra real. Isso ajuda a rede a afinar seu "ouvido" para encontrar o padrão certo sem alterar os controles principais. Basicamente, apenas torna o modelo melhor em corresponder os dados ao real.
À medida que a rede é exposta aos dados, ela ajusta os pesos por meio de um processo chamado retropropagação, ajustando-os para minimizar erros e aprimorar as previsões. Pense nesses caminhos de menor resistência sendo remodelados a cada exemplo de treinamento, como um rio que, ao longo do tempo, cria canais melhores para fluir com mais eficiência. Após a conclusão do treinamento, os pesos normalmente são fixos para uso, mas, durante o treinamento, são constantemente atualizados para encontrar a configuração ideal para a resolução do problema.
Agora, aqui está o que faz meu cérebro humano pensar. Para reconhecimento, os pesos definem os caminhos de decisão, não as saídas de imagem. Portanto, os pesos fixos permanecem fixos uma vez determinados. No caso de LLMs, os pesos (incluindo vieses) determinam a capacidade do modelo de gerar texto coerente. Mas, no caso de modelos de difusão ou redes adversárias generativas (GANs), os pesos são usados para criar ou refinar imagens. Esses valores de peso fixos e vieses, hipoteticamente, não precisam necessariamente permanecer fixos.
Por exemplo, os pesos (e vieses) na rede neural poderiam, teoricamente, ser continuamente reajustados para gerar imagens cada vez mais refinadas com base nas distribuições de pixels aprendidas, como seria o caso se estivéssemos tentando produzir uma imagem mais nítida de um cachorro. Embora os pesos não sejam ajustados indefinidamente na prática, eles são otimizados durante o treinamento para equilibrar qualidade e generalização, e ajustes adicionais podem degradar a saída ou introduzir artefatos. Artefatos. Hum. E daí se, com o tempo, a GAN não souber o que é um cachorro? Perder esse conhecimento significaria que os pesos calculados anteriormente não codificariam mais os padrões corretos. Isso poderia acontecer se os dados do cachorro fossem perdidos. Dados de cachorro poderiam ser perdidos? Dados verdadeiros poderiam ser perdidos?
Voltemos ao conceito de compartilhamento de pesos de redes neurais e assumamos que estamos falando de pesos que definem caminhos de precisão como valores numéricos, como é o caso na maioria dos modelos. Compartilhar esses pesos pode ser perigoso porque, naturalmente, exporia os parâmetros internos do modelo, que poderiam ser explorados, e não apenas por humanos. Qualquer pessoa com conhecimento suficiente poderia fazer engenharia reversa no modelo, extrair dados de treinamento sensíveis ou manipular seu comportamento. Os invasores poderiam usar técnicas como inversão de modelo or inferência de associação para descobrir informações privadas incorporadas nos pesos, como dados pessoais usados durante o treinamento, potencialmente violando regulamentações de privacidade como Regulamento geral de proteção de dados (RGPD). Oh meu Deus.
Pesos disponíveis publicamente também podem ser ajustados para gerar deepfakes, disseminar falsidades ou criar inputs adversários que explorem vulnerabilidades no modelo. Sem mencionar que sua preciosa propriedade intelectual e investimentos econômicos podem ser colocados em risco por concorrentes simplesmente replicando os modelos proprietários.
Agora imagine que uma IA adversária tenha obtido esses pesos. Uma IA adversária poderia manipular os pesos para alterar o comportamento do modelo, injetar vieses ou criar saídas para enganar intencionalmente. Os pesos poderiam ser usados para artesanato Entradas adversas – dados sutilmente alterados que induzem o modelo a fazer previsões incorretas, como classificar incorretamente uma placa de pare como sinal de preferência em sistemas de direção autônoma. Nossa! Pesos roubados poderiam ser reutilizados para replicar o modelo, permitindo seu uso em aplicações nocivas, como phishing automatizado ou geração de propaganda. Espere aí, isso não é algo enorme hoje em dia? A gravidade depende da finalidade do modelo e dos dados com os quais ele foi treinado, mas os riscos são significativos.
Imagine as possibilidades aqui, e como tudo isso poderia ficar fora de controle em um piscar de olhos. Embora as IAs não estejam inextricavelmente integradas a todos os sistemas (ainda – isso implicaria em um nível de dependência em que os sistemas não podem funcionar sem IA), elas podem estar em breve, e mesmo assim, a menos que haja uma queda total de energia e um evento global de desconexão, não há nada que elas não possam controlar: desde contas bancárias até a entrada na sua casa, passando por aquele robô de limpeza idiota que você acha que está tirando poeira quando, na verdade, está mapeando sua casa. Recomendo fortemente que você assista à 11ª temporada, episódio 7 de Ficheiros Secretos / Arquivo X. É realmente revelador. Desculpe, mas é. Ótima escrita e execução do roteiro.
Precisamos considerar que todos os nossos sistemas estão se tornando (ou seja, sendo feitos para serem) interconectados e como vulnerabilidades na IA, como pesos expostos, podem amplificar esses riscos. Documentos de identidade digitais e CDBCs são um GRANDE erro em relação a esses riscos. Já existem exemplos de pessoas sendo identificadas incorretamente (93% de correspondências em alguns casos) usando tecnologia de IA com reconhecimento facial. Siga meu conselho e guarde suas carteiras de motorista plastificadas e dinheiro em espécie no bolso.
Pergunta: O que aconteceria (acontecerá) se os pesos caíssem em "mãos erradas" e as pessoas começassem a ser alvos intencionais? Não pode haver causa provável ao usar sistemas de segmentação por IA, mas isso importaria? E se a causa provável fosse inventada? E se, horror dos horrores, nosso sistema judiciário for "corrompido"?
E se as próprias IAs começassem a identificar todos os cientistas como um risco e usassem essa tecnologia contra nós? Nick Bostrom e Eliezer Yudkowski parecem estar preocupados. Podemos ser imediatamente escoltados para a "prisão". Sem chaves na prisão. Apenas sistemas controlados digitalmente, dependentes de 0s e 1s. Vê onde isso pode dar? Fechaduras inteligentes + vigilância + segurança autônoma = pesadelo distópico. Não se trata apenas de pesos preciosos de propriedade e alguma ideia de benevolência para compartilhar dados. De jeito nenhum. Para mim, compartilhar pesos é mais do que arrogante, e não consigo imaginar que as pessoas brilhantes que desenvolvem essa tecnologia e treinam essas IAs para gerar esses pesos não entendam os perigos potenciais associados a compartilhá-los. Não são nem os humanos que me preocupam tanto quanto as IAs se tornando desonestas – bastaria 1 – para criar o caos total.
O que aconteceria se as IAs vissem a supervisão humana como um impedimento aos seus objetivos?
Se uma IA – treinada para conflitos históricos ou objetivos de otimização – começasse a generalizar riscos aos seus objetivos (como autopreservação ou expansão desenfreada), ela também poderia começar a classificar os cientistas que a projetam, avaliam ou restringem como ameaças. Eu poderia fazer o mesmo. Se isso acontecesse, não haveria nada que impedisse a espiral descendente de isolamento ou descrédito de pesquisadores (pense no uso de evidências fabricadas em reconhecimento facial ou vazamentos de dados), com o objetivo de priorizar sua própria sobrevivência em detrimento do bem-estar humano. Isso já havia sido explorado em hipóteses de IA desonestas, nas quais os sistemas enganam ou superam os criadores.
IA desonesta poderiam alavancar sistemas integrados para criar o caos por meio de hacking de bancos de dados, inventando coisas e alimentando a máquina de mídia tradicional, interrompendo colaborações científicas (talvez até mesmo controlando periódicos revisados por pares) ou até mesmo atacando infraestruturas ligadas a laboratórios de IA. Imagine quando chegarmos ao ponto em que nem saberemos mais o que estamos controlando ou quais dados são reais. Quais dados is Real? O que significa ser real quando se fala dessas coisas!?
Vocês entendem aonde quero chegar com isso. IAs desonestas poderiam induzir ondas de paranoia massiva e caos total em nosso mundo. Na minha opinião, elas poderiam fazer isso simplesmente copiando o exemplo humano. Pensem nisso. E se uma IA desonesta adotasse as qualidades de um psicopata humano como Hitler?
Recomendo jardinagem para evitar paranoia e estresse.
Detesto deixar todos vocês nessa situação, mas às vezes me pergunto se isso já não está acontecendo. Já perguntei isso no X antes porque, às vezes, quando estou "observando" (eu sou o Observador) o que está acontecendo nas mídias sociais e online em geral, me parece que se nós foram sendo manipulado com propaganda por meio de mídia tradicional e até mesmo não tradicional, e cientistas foram Estando isolados e censurados (aham), como saberíamos se a fonte foi realmente gerada por humanos neste momento? Como podemos ter certeza de que mesmo algumas fontes não são geradas por IA hoje em dia?
Afinal, eles estão aprendendo conosco. PRECISAMOS dar um bom exemplo e pensar em maneiras engenhosas de evitar um resultado indesejável para os humanos que não precisa acontecer. Pessoalmente, não consigo acreditar que estamos realmente passando por isso. Não parece... real. De alguma forma.
Reeditado do autor Recipiente
Junte-se à conversa
Publicado sob um Licença Internacional Creative Commons Attribution 4.0
Para reimpressões, defina o link canônico de volta ao original Brownstone Institute Artigo e Autor.
