У меня есть сценарий Python, который собирает ссылки на источники и помещает каждую ссылку как новую строку в текстовый файл. Этот файл постоянно обновляется, поскольку я обычно запускаю сценарий Python большую часть дня. Текстовый файл содержит повторяющиеся ссылки, поэтому мне обычно приходится вручную удалять дубликаты перед загрузкой.
Прямо сейчас я вручную помещаю текстовый файл в Jdownloader и сохраняю загрузки в папке на моем P C, пропуская любые дубликаты (загружены ранее). Однако это ручной процесс, и к тому времени, когда я до него дойду, некоторые ссылки уже не работают.
Есть ли способ автоматизировать это? Как каждые несколько часов он может использовать текстовый файл в это время, загружать все ссылки на папку (без подпапок) и пропускать весь ранее загруженный контент (то же имя файла)? Или Jdownloader вручную - лучший вариант?