Treinamos este modelo com Aprendizagem por Reforço com Feedback Humano (RLHF) e usamos os mesmos métodos aplicados no InstructGPT, com pequenas diferenças na configuração de coleta de dados. Para o modelo inicial, o treinamento fez uso de um ajuste fino supervisionado. Nele, treinadores humanos de IA criam conversas nas quais interpretam os dois lados: o usuário e o assistente em IA. Oferecemos aos treinadores as sugestões escritas pelo modelo, até para ajudá-los a compor suas respostas. Depois, misturamos esse novo conjunto de dados de diálogos com o conjunto de dados do InstructGPT, que por sua vez foi transformado em formato de diálogo.
Para criar um modelo de recompensas para aprendizagem por reforço, era preciso coletar dados comparativos, elencando duas ou mais respostas do modelo de acordo com parâmetros de qualidade. Para coletar esses dados, usamos as conversas entre os treinadores de IA e o chatbot. Selecionamos aleatoriamente uma mensagem escrita pelo modelo, testamos várias opções possíveis de conclusão e pedimos para que os treinadores classificassem cada uma delas. Com esses modelos de recompensa, ajustamos o modelo final com a otimização da política proximal (PPO). O processo foi repetido diversas vezes.