Это немного зависит от того, как выглядят ваши данные, и от того, какие агрегаты / тренды вы хотите использовать.Большинство реляционных баз данных прекрасно работают для такого рода хронологических данных.Даже при наличии миллиардов записей правильная индексация и разбиение могут быстро найти нужные вам записи.БД, такие как Oracle, MySQL, SQL-Server, подпадают под эту категорию.
Допустим, продукты, с которыми вы работаете, являются акциями, и за каждую акцию вы получаете новую цену каждый день (очень реалистичный случай).Новые биржи, акции, торговые частоты будут расти эти данные в геометрической прогрессии довольно быстро.Однако вы можете разделить данные путем обмена.Или регион.
Различные инструменты бизнес-аналитики также могут помочь в том, что эффективно сводится к предварительной агрегации данных перед извлечением.Как правило, это база данных, ориентированная на столбцы.(Хранилища данных и структуры OLAP могут помочь заблаговременно массировать и агрегировать наборы данных).
По аналогии с идеей хранилища данных, если агрегация занимает слишком много времени, вы можете быстро объединить агрегаты в структуру, к которой можно быстрее выполнять запросы.В моем предыдущем примере вам может понадобиться получать нечасто только большие фрагменты данных, но чаще - некоторую агрегацию, например, 52-недельный максимум.Вы можете хранить большое количество необработанных данных в одном формате, а затем каждую ночь выполнять работу, отрабатывая только то, что вам нужно, в таблицу, которая вместо тысяч точек данных на одну акцию теперь имеет 3 или 4.
Если тренды, которые вы отслеживаете, действительно повсеместны или представляют собой сложные алгоритмы, то полнофункциональное решение BI может быть чем-то, что можно исследовать, чтобы вы могли использовать предварительно созданные алгоритмы анализа данных и анализа данных.
Еслиданные не очень структурированы, вам может повезти с базой данных NoSQL, такой как Hadoop или Mongo, хотя по общему признанию мои знания баз данных более сфокусированы на реляционных форматах.