NetSuite Data Export 100K + строк в день - PullRequest
0 голосов
/ 01 апреля 2020

Я ищу лучшее решение для ежедневной синхронизации c продуктов (товаров), счетов, заказов на продажу и клиентов. У меня были другие порталы, которые синхронизируют c почти 1 млн. Записей в CSV каждую ночь и работают безупречно.

Netsuite предлагает API, но все они, похоже, изобилуют ограничениями, и вы полагаетесь на вызовы RESTful я обнаружил, что это отлично подходит для нескольких строк или обновлений, но не для тех случаев, когда вы пытаетесь получить строки 100 КБ - 1 млн.

Я склоняюсь к тому, что работает с большими наборами данных и то есть:

  • Соединитель базы данных в NetSuite (например, OBD C)
  • Экспорт в CSV (как-то ... Я слышал, что вы можете делать сохраненные поиски - например, создавать "всех клиентов") поиск, а затем автоматизировать этот поиск каждую ночь для экспорта в CSV)

Любая помощь приветствуется. Все API-интерфейсы NetSuite выглядят хорошо, но я просто не понимаю, как они могут надежно обрабатывать ежедневные наборы таких больших данных, не превышая ограничений, тайм-аутов или чего-либо в этом роде.


РЕДАКТИРОВАТЬ 1: I прочитал здесь , что некоторые люди платят за (дорогой) SuiteAnalytics Connect add-on module и получили доступ к своим данным через ODB C.

Они также говорят, что вы, вероятно, можете сделать это через RESTlets и SuiteTalk, но большие данные просто не будут надежными, я не верю.

РЕДАКТИРОВАТЬ 2: Запланируйте сохраненный поиск, который отправляет CSV в качестве вложения здесь и поместите CSV в папку File Cab inet. С внешнего сервера вызовите веб-службы или RESTlet, чтобы получить новые CSV-файлы в папке.

РЕДАКТИРОВАТЬ 3: Миграции NetSuite

РЕДАКТИРОВАТЬ 4: Экспорт пакета netsuite suitescript 2.0 ( CSV)

1 Ответ

1 голос
/ 01 апреля 2020

Я написал инструмент для отправки CSV из сохраненных поисков на S3. См. Пакет 271853 или https://github.com/DeepChannel/netsuite-savedsearch-s3

Он может запускать и затем передавать очень большие результаты.

Получив данные, вы можете использовать более быстрые инструменты ETL для загрузки данных в вашу систему BI

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...