У меня есть поставщик, который передает мне данные в реальном времени через SQS с данными CSV в теле сообщения. Это примерно одно сообщение в минуту. Размер тела может сильно различаться, но давайте предположим, что он меньше 512 МБ.
Сначала я подумал о написании лямбда-функции, которая вызывается их очередью SQS для загрузки в S3, а затем использует Snowpipe для внешней загрузки, ноэто кажется излишним для меня. Не проще ли было бы написать тело локально в / tmp и затем загрузить его изнутри?
Я склоняюсь к загрузке изнутри, поэтому я ищу убедительный аргумент для использования Snowpipe / load вместо этого,Чего бы мне не хватало, если бы я не использовал Snowpipe?