Аналитическая команда моей компании каждый день загружает файл CSV на S3, размер которого обычно составляет 300 МБ, но постоянно увеличивается. Лямбда-функция, которую я должен реализовать, должна прочитать этот файл и обработать каждую строку.
Моя главная проблема в том, что большой размер файла может вызвать проблемы с памятью в контексте выполнения моей лямбды. Можно ли с помощью boto3 загрузить этот файл из S3 в виде потока и прочитать его во время загрузки? Если нет, какой подход я должен использовать для решения этой ситуации?
Заранее спасибо.