Предотвращение спама с помощью искусственного интеллекта

Question

Существует ли исследование / решение для предотвращения спама, ненормативной лексики и т. Д. При вводе человеком с использованием методов искусственного интеллекта, таких как обработка естественного языка, социальный интеллект и т. Д .?

Answer 1

Таких решений много, я опишу несколько наиболее широко используемых.

1. Байесовская фильтрация спама - классический подход, основанный на Байесовская вероятность . Это старая техника, поэтому, если вы хотите ее использовать, рассмотрите различные виды эвристики для улучшения результатов (подробности см. В статье Википедии).

2. Семантические методы как LSA . Для меня модифицированная версия LSA под названием Random Indexing дала наилучшие результаты со счетом ~ 99,3% для обучающей выборки 30% всех электронных писем. Есть также методика, называемая PLSA , которая сочетает в себе LSA и вероятностную теорию.

3. Машина опорных векторов . В отличие от предыдущих методов, которые были общими для любого числа классов, этот метод лучше подходит для классификации ровно по 2 классам, например, spam и not spam . Я никогда не пробовал сам, но во многих работах описываются высокие результаты для классификации с SVM.

Answer 2

Одним из набирающих популярность методов, который интересен своей простотой и масштабируемостью, является краудсорсинг . Когда он и традиционные методы ИИ используются вместе, они могут предотвратить почти любой вид спама. Например, Stackoverflow использует традиционные методы, такие как CAPTCHA, а также методы краудсорсинга, такие как голосование и репутация, для фильтрации мусора.

Answer 3

Вы получите хорошую вводную идею на ai-class.com.Модуль машинного обучения имеет видео для классификации спама.

Answer 4

Вы можете использовать Байесовскую сеть , поскольку она может обнаруживать неявные шаблоны в сообщениях.

Здесь начальное чтение .