Получение данных из HubSpot REST API с помощью Azure Data Factory - все контакты (разбиение на страницы)

Question

Я пытаюсь получить ВСЕ контакты из Hubspot, но у hubspot есть ограничение в 100 контактов на вызов, поэтому мне нужно настроить нумерацию страниц в фабрике данных, чтобы получить все 25 000 контактов

Это GETURL Я использовал, чтобы получить часть контактов https://api.hubapi.com/contacts/v1/lists/all/contacts/all?hapikey=[mykey]&vidOffset=1

Как настроить фабрику данных для получения всех контактов?

Answer 1

Я думаю, что в соответствии с документом https://developers.hubspot.com/docs/methods/contacts/get_contacts они используют & vidOffset = X для перехода на следующую страницу. Я думаю, что мы можем использовать это значение для нумерации страниц. Следующая статья может помочь. https://docs.microsoft.com/en-us/azure/data-factory/connector-rest