Сообщения TCP обрезаются при развертывании извлечения данных API на AWS - PullRequest
0 голосов
/ 28 февраля 2019

Я работаю над проектом, который намеревается получить исторические рыночные данные из API , и я создал довольно сложную программу, которая запрашивает новые данные (в данном случае OHLCV / свеча данныхкоторый является 5-значным массивом чисел с плавающей точкой) каждые десять минут.Чтобы проверить это перед тем, как запускать его для записи в БД, я записал в файлы CSV, запускающие его локально.В этом случае программа всегда будет работать идеально, получит строки по 10 минут (10 строк) и запишет в csv.

Однако в версии БД, которая работает / записывается в БД в AWS, отсутствовали данные, и после отладки я выяснил, что это на самом деле потому, что ответ API не отвечает 10 - он отвечает 3, 5, 47 и т. Д. - не полные данные.После анализа кажется, что ответ укорочен, так как 4, 5 или любая частичная сумма, которую он возвращает, - это первые 4, 5 минуты, но остальные отсутствуют.Это будет происходить как с версией csv / db, если она работает на AWS, так и с 10 на моей локальной машине.

Таким образом, мой вопрос заключается в том, почему (как) это может происходить, если он отлично работает при получении ответа на локальном компьютере, но эта проблема возникает на экземпляре AWS EC2 (это REST API, а TCP гарантирует полные данные)?Как я могу диагностировать / исправить то, что происходит, что вызывает это?

Присоединение примера запроса GET к серверу, чтобы любой, кто читает это, мог запустить на терминале, чтобы увидеть, как возвращаются данные.Если вам нужны какие-либо дополнительные разъяснения, пожалуйста, спросите (не хотите затоплять слишком много деталей).

curl "https://api.nomics.com/v1/exchange_candles?key=2018-09-demo-dont-deploy-b69315e440beb145&interval=1d&exchange=binance&market=BTCUSDT&start=2018-04-14T00%3A00%3A00Z&end=2018-05-14T00%3A00%3A00Z&format=csv"

...