soul·dev блог

AI-тренажер для контент-модераторов: пограничный случай, где правило не спасает

Модераторов учили объяснять решение по спорному контенту и замечать собственную усталость от однотипных кейсов.

Контент-модератор разбирает пограничный кейс в AI-тренажере
AI-тренажерконтент-модерацияTrust and Safetyпограничные кейсыобучение модераторовкачество решенийполитики платформыэмоциональная нагрузкаsoul·dev

Почему тестов было мало

Модераторы успешно сдавали тесты по правилам, но на спорных материалах расходились в решениях. Руководитель качества видел, что проблема не в чтении политики, а в применении критериев под эмоциональной нагрузкой. В проект включили старших модераторов и методолога.

Сценарий кейса

AI-тренажер показывал описание спорного материала и играл автора, который оспаривает решение. Ограничение: модератор должен опираться на политику, не спорить с автором лично и не раскрывать внутренние детали процесса сверх разрешенного объяснения.

Как AI проверял решение

Если модератор выбирал действие без обоснования, тренажер задавал уточняющие вопросы от лица старшего проверяющего. Если объяснение автору звучало морализаторски, AI усиливал конфликт. Лучшие прохождения связывали конкретный элемент контента с правилом и спокойным текстом ответа.

Отчет качества

Отчет показывал согласованность решения, качество ссылки на правило, тон ответа и признаки усталости: поспешность, шаблонные формулировки, пропущенные детали. Команда увидела, что после серии тяжелых кейсов участники чаще выбирали крайние решения.

Что добавили

В обучение включили микропаузу перед пограничным решением и обязательное короткое обоснование. AI-тренажер используют как калибровку: модератор сравнивает свое решение с эталонной логикой и видит, где эмоция или усталость повлияла на вывод.