OpenAI разрабатывает систему на базе GPT-4 для модерации контента

OpenAI представила новую систему, созданную на основе GPT-4, для помощи в модерации контента на онлайн-платформах. Эта система позволяет быстрее адаптироваться к изменениям в политике и обеспечивает более последовательную маркировку контента по сравнению с традиционной модерацией, проводимой человеком.

В официальном заявлении OpenAI говорится:

Модерация контента играет важнейшую роль в поддержании работоспособности цифровых платформ. Система модерации контента, использующая GPT-4, позволяет значительно ускорить процесс внесения изменений в политику, сократив цикл с месяцев до нескольких часов.

Целью этого шага является улучшение последовательности маркировки контента, ускорение обновлений политики и снижение зависимости от человеческих модераторов. Это также может положительно сказаться на психическом здоровье модераторов, подчеркивая потенциал ИИ в обеспечении психического здоровья в интернете.

OpenAI рассказала о сложности модерации контента, которая требует тщательных усилий, понимания контекста и постоянной адаптации к новым сценариям использования. Традиционно эти задачи выполнялись человеческими модераторами, которые просматривали большие объемы контента, созданного пользователями, чтобы удалять вредоносные или неподобающие материалы.

Система OpenAI направлена на помощь человеческим модераторам, используя GPT-4 для интерпретации политик контента и принятия решений о модерации. После создания руководящих принципов и примеров, соответствующих политике, GPT-4 присваивает метки этим примерам без просмотра ответов рецензентов.

OpenAI также подчеркнула ряд преимуществ, которые, по ее мнению, предоставляет система модерации с помощью ИИ:

• Более последовательная маркировка, так как ИИ быстро адаптируется к изменениям в политике.
• Быстрый цикл обратной связи для улучшения политик, сокращая циклы обновления с месяцев до часов.
• Снижение психологической нагрузки на человеческих модераторов.

Тем не менее, OpenAI признала, что суждения, сделанные моделями ИИ, могут содержать нежелательные предвзятости. Поэтому результаты должны быть контролируемыми и проверяемыми. Компания подчеркнула, что люди должны оставаться “в игре” для сложных случаев модерации.