Сотни подрядчиков OpenAI вручную оценивают переписки пользователей ChatGPT
OpenAI привлекла сотни сторонних подрядчиков для ручного чтения и оценки реальных переписок пользователей с ChatGPT. Об этом сообщает издание 404 Media, изучившее работу специалистов, участвующих в обучении языковых моделей.
Проект получил внутреннее кодовое название Project Lily. Рецензенты должны кратко описывать содержание пользовательского запроса, а затем оценивать четыре варианта ответа, сгенерированных моделью. Для этого используется шкала от одного до семи.
Помимо общей оценки качества, специалисты отмечают отдельные особенности поведения чат-бота. В их числе — сикофантия, то есть чрезмерная угодливость модели, попытки представить себя человеком и неуместное использование эмодзи.
Какие данные могут видеть рецензенты
В рабочем интерфейсе имена учётных записей скрыты, а переписки перед просмотром проходят через специальный алгоритм Privacy Filter. Однако в OpenAI подтвердили, что система не всегда распознаёт и удаляет персональные сведения. Поэтому конфиденциальная информация может попасть к сотрудникам, которые проверяют ответы моделей.
Кроме того, рецензентам нередко доступен блок user memories — сохранённый контекст прошлых обращений пользователя. В нём могут содержаться сведения о предыдущих запросах и примерная геолокация. Таким образом, даже при скрытых именах переписка иногда позволяет получить дополнительные данные о человеке.
За работу специалисты получают более 50 долларов в час. Выплаты организуют сторонние компании, среди которых называются агентство Crossing Hurdles и платформа Mercor. При этом OpenAI не единственная компания, использующая ручную проверку: Anthropic также признала, что привлекает людей для оценки диалогов с Claude.
Как отключить использование новых чатов
В OpenAI заявили, что пользователи могут запретить отправку своих переписок на такую обработку. Для этого в настройках ChatGPT необходимо вручную отключить параметр Improve the model for everyone. Он включён по умолчанию для тарифов Free, Plus и Pro.
Отключение настройки распространяется только на новые диалоги. Уже обработанные данные это изменение не удаляет и не выводит из процессов, в которых они могли использоваться ранее.
