Вы можете спроектировать свое приложение так, чтобы уменьшить нагрузку, не проверяя текстовые строки и ключевые слова по всем другим постам в той же категории. Что, если бы вы предоставили пользователям сторонний контент, на который они ссылаются как URL? См. Реализацию Tumblr: в основном, имеется текстовое поле произвольной формы, поэтому каждый пользователь может комментировать и создавать свою собственную описательную часть содержимого публикации, но затем существуют отформатированные поля, также зависящие от типа ссылки, которую добавляет пользователь (видео, изображение, ссылка, цитата и т. д.) Улучшение в Tumblr позволит пользователю добавлять столько / несколько типов форматированного контента, сколько он хочет, в любой пост.
Тогда вы проверяете только известные типы, такие как URL-адрес или код для вставки видео. Объедините это с предложением rexem заставить пользователей классифицировать по категориям или жанрам, и у вас будет гораздо меньше возможностей для поиска дубликатов.
Кроме того, если вы можете дать каждому пользователю возможность публиковать сообщения в своем «потоке», то не имеет значения, дублируют ли многие люди один и тот же контент. Дайте людям возможность голосовать из отдельных потоков в основной поток уровня «первой страницы», чтобы сообщество могло регулировать, когда они видят дубликаты элементов. Вместо того, чтобы голосовать «за» или «против», как Digg или Reddit, вы можете добавить способ объединения или добавления сообщений в связанные посты (позволяя им сортировать контент и управлять им как действием в вашем приложении, а не создавать из-за этого обработка сцен).