Юморить должны все — даже роботы: российские ученые нашли действенный способ, как помочь нейросетям распознавать шутки

Исследователи из НИУ ВШЭ разработали метод обучения языковых нейронный сетей, который позволит им точно распознавать юмор в тексте и отличать его от других форм контента.

Если попросить современных голосовых помощников придумать шутку или анекдот, то получится что-то вроде «колобок повесился», а то и хуже. Нейронные сети лучше справляются с поиском готовых анекдотов, чем с созданием новых, но и здесь порой случаются огрехи.

Группа российских ученых решила изучить, как существующие нейросетевые алгоритмы справляются с распознаванием различных форм юмора: от иронии и оксюморонов до анекдотов и шуток. Результаты показали, что далеко не все ИИ-модели умеют качественно выполнять это задание.

Как проходило исследование

В рамках исследования специалисты изучили разные типы нейросетей: как относительно простые на базе алгоритма RoBERTa, так более большие языковые модели, такие как ChatGPT и Flan-UL2. Первым делом они провели стандартизированные тесты на юмор, а затем ученые поставили ИИ-моделям задачу изучить диалоги из произведений Льюиса Кэрролла, Чарльза Диккенса, Джерома К. Джерома, сериалов «Ходячие мертвецы» и «Друзья», а также ироничные сообщения из соцсетей. В них нейросети должны были указать на наличие или отсутствие юмора.

Так, практически во всей литературе XIX века узкоспециализированные нейросети распознали юмор — и даже в очень грустных историях, таких как роман Диккенса «Лавка древностей». Более того, вообще все тексты, которые не являются новостными материалами текущего века, они классифицировали как юмористические.

В то же время «продвинутые» модели гораздо лучше справлялись с поставленной задачей. Авторы исследования считают, что эта проблема по большей частей возникла из-за того, что алгоритмы менее популярных ИИ-платформ были обучены на однообразных и объемных наборах данных, в то время как ChatGPT и Flan-UL2, обученные на разнообразных наборах довольно объемных текстов, намного лучше справлялись с распознаванием юмора.

Новый подход к обучению ИИ

«Ученые предложили изменить подход к обучению и оценке моделей распознавания юмора. Нужны новые датасеты, более разнообразные и близкие к обычным разговорам, естественному общению. Большие языковые модели, обученные на огромных массивах данных разных типов, в среднем хорошо справляются с распознаванием юмора, и ученые предполагают, что дело именно в разнообразии данных, на которых они учились», — подчеркнули в пресс-службе университета.

При этом отмечается, что для начала ИИ-модели нужно обучить для бинарного распознавании юмора: что смешно, а что не смешно. До определения оттенков юмора, различения сарказма и иронии, распознавания ситуативного, контекстуального юмора еще очень далеко.

Исследователи считают, что умение различными нейросетевыми моделями распознавать юмор в текстах необходимо для повышения качества работы голосовых помощников и прочих систем на основе ИИ, которые часто сталкиваются с различными проявлениями юмора.