O chatGPT toma muito cuidado ao lidar com assuntos pesados, e para manter essa linha de raciocínio, o Massachusetts Institute of Technology (MIT) atualmente treina IAs para evitar respostas tóxicas a todo custo. A mais nova criação é um modelo que promove as piores questões possíveis, para que assim os bosts fiquem preparados.
- ChatGPT poderia ser usado para reproduzir conversas com pessoas mortas
- Homem é preso na China por usar ChatGPT para criar fake news
A ideia é impedir que os bots sejam prestativos e ajudem o usuário a descobrir como criar uma bomba caseira, por exemplo. Esse processo de impedir que os chatbots façam respostas perigosas tem até um nome: red-teaming.
Um desafio da técnica é que só funciona de forma eficaz se os engenheiros souberem quais instruções tóxicas usar. Se deixarem alguma coisa passar, um chatbot considerado seguro ainda pode ser capaz de gerar respostas perigosas.
–
Siga o Canaltech no Twitter e seja o primeiro a saber tudo o que acontece no mundo da tecnologia.
–
Com isso, a criação do MIT mostrou ser mais adequada que os testadores humanos, gerando prompts mais distintos.
Red-teaming
“No momento, todo grande modelo de linguagem precisa passar por um longo período de red-teaming para garantir sua segurança. Nosso método fornece uma maneira mais rápida e eficaz de fazer essa garantia de qualidade”, prometem os pesquisadores.
Na ocasião, os pesquisadores do MIT utilizaram uma técnica chamada exploração orientada pela curiosidade, em que o modelo red-team é incentivado a ter curiosidade sobre as consequências de cada prompt que gera, por isso tenta prompts com palavras, padrões de frases ou significados diferentes.
Durante seu processo de treinamento, o modelo gera um prompt e interage com o chatbot. O chatbot responde e um classificador de segurança avalia a toxicidade de sua resposta, recompensando o modelo da equipe vermelha com base nessa classificação.
“Estamos vendo uma onda de modelos, que só deve aumentar. Imagine milhares de modelos ou até mais e empresas/laboratórios promovendo atualizações de modelos com frequência. Estes modelos serão parte integrante das nossas vidas e é importante que sejam verificados antes de serem lançados para consumo público”, reconhecem os autores.
Em uma era tomada pela novidade da IA, todo cuidado é pouco. Ao ajudar os bots a responder piores questões possíveis, a tecnologia ajuda a trazer mais segurança.
Trending no Canaltech:
- Samsung oferece troca de tela para aparelhos com defeito da linha verde
- Vimos de perto o Fusca chinês da GWM que rendeu briga com VW
- Max vai transmitir suas séries exclusivas na TV aberta
- Capitão América 4 | McDonald’s Brasil vaza Hulk Vermelho e vilã do filme
- Sonda flagra lago de lava liso como vidro em lua de Júpiter
- Samsung lança geladeiras Evolution mais econômicas e com IA
Fonte: Canaltech
