Самый быстрый способ получить видео на YouTube для более чем 100 000 песен

Question

Какой самый быстрый способ получить видео на YouTube для более чем 100 000 песен? В настоящее время я использую PHP и SimpleXML для разбора фида YouTube, но это кажется довольно медленным. Любые другие идеи?

Answer 1

Возможный другой способ решения этой проблемы - отредактированная пользователем база данных MusicBrainz содержит ссылки от артистов и лейблов на свои каналы YouTube. Подробности в вики здесь .

Обратите внимание, что эта функция не поддерживает прямые ссылки на песню и видео и предназначена только для официальных видео.

Answer 2

10000 песен на YouTube займет некоторое время. Учтите это:

Time to download: 0.1 seconds
Time to parse: 0.05 seconds
Time to hit your database: 0.05 seconds
Total: 0.2 seconds
0.2 * 10000 = 2000 seconds
2000 seconds = 33 minutes

Конечно, это приблизительная оценка. Однако, если он даже близко, вы можете понять, почему это займет некоторое время.

Вот несколько предложений:

• Запустите вашу операцию в CRON, чтобы не превышать произвольные таймауты браузера / приложения
• Используйте кеширование везде, где возможно
• Попробуйте выполнить пакетную загрузку, если это возможно
• Выполните предварительное тестирование ошибок в канале (т. Е. Проверьте пустые каналы), используя Regex, прежде чем отправить его в SimpleXML. Выполнение простой проверки в SimpleXML намного медленнее, чем при использовании preg_match.

В противном случае нам понадобится код, чтобы дать вам более подробный ответ.

Надеюсь, это поможет!

Answer 3

Да, ты, наверное, немного подожди, мой друг.