Я собираю большое количество данных из Интернета, используя crontab на экземпляре AWS EC2. Сценарий очищает тысячи веб-страниц и печатает " webpageID done" после каждого. Поскольку я планирую запустить сценарий, а затем выйти из экземпляра, я сохраняю вывод stdout в файл журнала, используя следующую команду в crontab:
0 19 26 10 * /home/ec2-user/scrape.sh &>> /home/ec2-user/output.log
Сбой сценария после очистки 10 000веб-страниц, но по какой-то причине output.log прекратил печатать « webpageID done» после 8000 веб-страниц. Последние несколько строк в output.log выглядят примерно так:
7998: webpage 012345 done
7999: webpage 012346 done
8000: webpage 012347 d
Таким образом, печать остановилась на полпути, но сценарий продолжал очищать еще 2000 веб-страниц. Почему это может происходить? Есть ли лучший способ сохранить выходные данные при выходе из экземпляра EC2 (т. Е. Без сохранения канала SSH открытым)?
Мой сценарий оболочки начинается с #!/bin/bash.