Использование ресурсов при хранении огромного потока данных в базе данных

Question

Прежде всего, я не очень разбираюсь в базах данных, поэтому, пожалуйста, прости меня, если это глупый вопрос.

Моя компания получает поток позиционных данных через TCP. Каждый пакет состоит из нескольких чисел с плавающей точкой и отметки времени. Наша задача - сохранить данные в базе данных (MS SQL Server 2005), работающей на современном ПК.

Каждый BLOB-объект имеет около 20 байтов. До 1000 отправителей, каждый из которых отправляет около 25 пакетов в секунду.

Может ли один нормальный ПК справиться с таким количеством данных? Если нет, как бороться с этой проблемой? Должны ли мы настроить отдельный компьютер для каждого отправителя?

Answer 1

Итак, чтобы понять ваши требования:
Вы хотите сделать до 25 000 вставок в секунду
Вы хотите хранить до 20 байтов * 1000 отправителей * 25 пакетов * 60 секунд * 60 минут * 24 часа = 43,2 ГБ / день.

Пара вещей:

• Это очень большой объем данных.
• Обычный ПК не может с этим справиться, вам понадобится работоспособный сервер и очень большой дисковый массив для этого.
• Что вы планируете делать со своими данными? Если вы хотите обработать его, вы можете посмотреть на хранилища данных и т. Д.

Наконец, это не ваша область знаний, для такого масштаба проекта вам нужен эксперт.
Найти один, даже если это для краткосрочной консультации.