У меня есть скрипт, который ищет конкретные слова в новостных статьях. Он может обработать одну статью, а затем, может быть, еще пять, а затем (НЕТ ДАННЫХ, ПОЛУЧЕННЫХ). Однако мне нужно циклически просматривать около 30 RSS-каналов, которые содержат 10 статей в каждой, один раз в неделю.
Есть ли более надежное решение? Или каким-то образом обработать несколько, а затем перезапустить себя?
my colleague suggested I explain what happens in the script.
the script loads RSS Feeds from a list. one by one.
it uses magpie_debug to obtain links, title, dates.
if the date is less than 60 minutes ago, (fresh article)
it pulls the plaintext (simple_DOM) attaches POS tags using brill tagger
splits text into sentences.
builds arrays of capitalized nouns, matches them twelve different word banks
including a large database of chemicals, companies etc. and generates an
algorithm of 'total environmental impact' for each sentence.
moves to next sentence in article until completed.
each article takes about 10 seconds to process.
Moves to the next article. Until all articles processed.
Moves to next feed until all feeds processed.
Я могу без проблем получить открытый текст всех статей / каналов, но как только я добавлю обработку, эта возможность резко упадет. Я не получаю никаких данных после примерно четырех статей.