OpenAI lança monitoramento CoT para prevenir comportamentos maliciosos em grandes modelos

A OpenAI lançou sua mais recente pesquisa, indicando que o uso do monitoramento CoT (Cadeia de Pensamento) pode impedir que grandes modelos falem bobagens, escondam verdadeiras intenções e outros comportamentos maliciosos. É também uma das ferramentas eficazes para supervisionar supermodelos. A OpenAI usou o modelo de ponta recém-lançado o3-mini como o sujeito a ser monitorado, com um modelo GPT-4o mais fraco atuando como monitor. O ambiente de teste consistia em tarefas de codificação, exigindo que a IA implementasse funções em bibliotecas de código para passar em testes unitários. Os resultados mostraram que os monitores CoT tiveram um desempenho excelente na detecção de comportamento sistemático de "hacking de recompensa", com uma taxa de recall de até 95%, superando em muito os 60% de apenas monitorar o comportamento.