Архивирование твитов в базе данных (избегая дубликатов)

Question

Я собираюсь заархивировать свои твиты в базе данных.но я написал PHP-скрипт, который берет и получает последние 200 твитов от пользователя (меня), а затем вставляет их в базу данных.Этот PHP-скрипт будет работать на Cron Job, но меня смущает то, как избежать размещения дублирующих твитов в базе данных.Структура должна была быть таблицей: Пользователь, затем два столбца, ID и Tweet.Итак, как мне получить PHP, чтобы избежать дублирования твитов, которые он, скажем, вставил накануне?

Спасибо

Answer 1

При условии, что API Twitter предоставляет уникальный идентификатор твита, вы можете установить это поле как UNIQUE в вашей базе данных.При попытке вставить твит, идентификатор которого уже присутствует, вставка не произойдет.

Answer 2

Самый простой способ - получить 200 новых твитов с сервера в хэше php. построить и массив их tweet_ids. выберите из базы данных, где существуют эти твиты. удалите те, которые существуют в базе данных, из вашего хэша новых твитов и вставьте остальное в базу данных.

У меня была такая же проблема. Сначала я использовал twitter since_id и обнаружил, что Twitter API (since_id) не работает так, как я предполагал.

Answer 3

Вы можете хешировать текст вашего твита и добавить в таблицу уникальный столбец с хешами.

md5($tweettext)

Answer 4

Не получать последние 200. API Twitter предоставляет способы получения твитов с определенного идентификатора.Просто сохраните последний идентификатор, который вы получили.