Обрезать и перезагрузить - PullRequest
Новая
       23

Обрезать и перезагрузить

1 голос
/ 10 июня 2019

Я пытаюсь обрезать базу данных Neptune и перезагрузить те же данные с помощью массовой загрузки но база данных не учитывает те же данные для загрузки в Нептун. мы использовали g.V (). drop () и аналогичные для ребер. Может ли кто-нибудь помочь мне с этой проблемой. мой проект включает в себя усечение по расписанию и перезагрузку данных с изменениями и будет иметь тот же идентификатор

мы удаляем экземпляр и воссоздаем Neptune снова, тогда загрузка работает нормально 

curl -X POST \
    -H 'Content-Type: application/json' \
    https://*:8182/loader -d '
    {
      "source" : "s3://***",
      "format" : "csv",
      "iamRoleArn" : "",
      "region" : "*",
      "failOnError" : "FALSE",
      "parallelism" : "MEDIUM"
    }'

количество предоставленных записей и количество идентифицированных загрузчиков Neptune не совпадают, и перезагрузка завершается неудачно для тех же данных, которые были успешными в первый раз

1 Ответ

0 голосов
/ 18 июня 2019

Вы уверены, что ваш запрос на удаление полностью выполнен?В зависимости от масштаба данных усечение всей базы данных может занять немного времени и ввода-вывода, и почти во всех случаях лучше создать новый кластер и использовать его вместо этого в таких случаях.Существуют случаи использования, когда клиенты создают пустые кластеры (без экземпляров в них) и предъявляют заявки на пустые кластеры, добавляют к ним экземпляр и начинают использовать его, если им нужна база данных с чистого листа.

На заметку

  1. Удаление большой базы данных может занять время
  2. Удаление БД требует много операций ввода-вывода и требует затрат
  3. Удаление кластера и использование нового часто происходит быстрее, а также дешевле
  4. У вас могут быть пустые кластеры, стоимость которых почти равна нулю, и вы можете подготовить экземпляр именно тогда, когда вам нужно
  5. Добавление экземпляра в существующий кластер или создание нового кластера обычно занимает менее 10 минут, и вы всегда можете создать логин в своем приложении, чтобы запланировать заранее и подготовить новую БД, переключить ваше приложение и затем завершить работу старого кластера (с или без окончательного снимка).
...