100 миллиардов записей в день в Oracle - это проблема?

Question

Клиент хочет, чтобы я скопировал 100 миллиардов записей в пустую базу данных Oracle. Почти все записи имеют около 6 полей, только одно из них является полем varchar, и 99,99% этих полей varchar содержат нулевые значения. Он хочет, чтобы это делалось каждый день. Какой сервер Oracle нужен для этого, и есть ли какие-то особые вещи, которые мне нужно запомнить?

Answer 1

100 миллиардов записей в день равняется ~ 1 157 407 строк в секунду при импорте. Да, это серьезная проблема, и здесь не будет возможности получить реальный ответ - если у вас есть такие объемы данных и очень большой бюджет для аппаратного обеспечения, то обратитесь непосредственно к Oracle, чтобы привлечь их к проекту. 1001 *

Answer 2

Если это реальное требование клиента, которое у вас есть, то первое, что я бы предложил, - это поработать с ними, чтобы понять бизнес-требования, лежащие в основе этого технического требования, если у них есть бюджет для удовлетворения технического требования. Затем, чтобы проверить, существует ли лучший способ удовлетворения бизнес-требований, чем с техническим требованием, описанным выше. Причиной этого являются некоторые технические проблемы, приведенные ниже:

Чтобы спросить, как долго это будет продолжаться и купить много места на диске? Это инкрементное или перезаписывающее?

Каждый день в течение года или каждый день в течение следующих 20 лет и т. Д.

Даже если вы предполагаете, что каждое поле имеет размер только один байт, это работает примерно на 1/2 терабайта в день. Если каждый день это другой набор записей, то это будет суммироваться.

Тогда посмотрите на сторону импорта. Это снова фантастическое количество строк в секунду.

Answer 3

100 миллиардов записей каждый день! Я сомневаюсь, что клиент действительно нуждается в этом. Спросите его, почему, и вы, вероятно, найдете альтернативное решение.

Если выяснится, что я ошибаюсь, а ваш клиент действительно в этом нуждается, мне любопытно узнать причину!

Answer 4

Возможно, вы находитесь в области машины баз данных Oracle: http://www.oracle.com/database/exadata.html