Является ли этот способ использования сводной таблицы Excel 2007 для BI масштабируемым? - PullRequest
Новая
       16

Является ли этот способ использования сводной таблицы Excel 2007 для BI масштабируемым?

0 голосов
/ 14 ноября 2009

Фон:

  • Нам необходимо объединить данные о продажах по всей стране, чтобы провести анализ

  • Наше подключение к Интернету / ИТ-опыт / инвестиции в ИТ недостаточно сильны, поэтому о полном решении BI не может быть и речи

  • Я пробовал несколько решений SaaS BI (GoodData, ZohoReports), и хотя они хороши, они, похоже, не полностью поддерживают то, что нам нужно

  • Мы просматриваем около 2 миллионов записей за каждые 2 месяца

Мой нынешний подход

  • Наши (10) сайтов в настоящее время собирают данные из всех своих филиалов и объединяют их в 1 файл Excel с помощью сводной таблицы и встраивают исходные данные

  • В штаб-квартире я буду просить 10 сайтов периодически отправлять эти файлы Excel

  • Мы импортируем эти Excel на наш сервер MSSQL

  • Будет основной файл Excel, который также будет иметь ту же сводную таблицу (как и из файла Excel сайта), а источником данных является сервер MSSQL

Подробнее

  • Для тестирования я сейчас использую MSSQL 2008 Express на своем ноутбуке

  • Пока что я импортировал наши транзакции за последние 2 месяца, и в MSSQL есть 2 миллиона + строка в 1 таблице (мы просто используем 1 таблицу, соответствующую нашей общей структуре сводной таблицы). Размер БД ~ 600 МБ

  • В главном файле Excel, если не включать исходные данные, он составляет всего <10 МБ. Включение исходных данных увеличит размер до 60 МБ (поэтому я предположил, что Office 2007 автоматически архивирует данные?) </p>

  • Я пытаюсь использовать Pivot (поля перетаскивания), и производительность пока в порядке (характеристики моего ноутбука: C2D T7200, 3 ГБ ОЗУ, Windows XP)

Итак, мой вопрос:

  • Если мы рассмотрим транзакцию за весь год (примерно 15 миллионов строк в MSSQL 2008 Express, размер 3,6 ГБ), есть ли проблема с этими 15 миллионами строк в 1 таблице в SQL Express?

  • Есть ли проблемы с производительностью в сводной таблице в то время? Может ли оно все еще встраивать исходные данные? (Я google-ed, но не нашел максимальный размер исходных данных, которые Excel 2007 может встраивать)

  • Любые другие предложения о том, как мы можем лучше сделать это? Учитывая, что мы не можем позволить себе полное решение BI, какой легкий / бюджетный / SaaS BI вы можете порекомендовать?

Спасибо

Ответы [ 2 ]

2 голосов
/ 15 ноября 2009

Я не считаю ваше решение масштабируемым (или целесообразным). Несмотря на то, что вы могли бы добиться того, чтобы это работало в краткосрочной перспективе, попытка обработать такое количество строк в Excel определенно не является оптимальной практикой, особенно если учесть проблемы с техническим обслуживанием и эксплуатацией.

Создание простого куба в службах Analysis Services обычно довольно просто. После создания ваша группа по продажам сможет подключаться к центральному серверу с помощью Excel и выдавать свои запросы к нему с помощью сводных таблиц или сводных диаграмм, с помощью перетаскивания и т. Д. Если у вас всего около десятка пользователей Вы могли бы лицензировать SQL Server на основе CAL, и это должно быть довольно дешево.

Если это поможет, я иду по процессу создания простого куба в своей книге: Сверхбыстрый ASP.NET . В сети также есть несколько хороших примеров.

0 голосов
/ 14 ноября 2009

По идее должно работать. Я не видел, чтобы вы выходили за пределы Excel / SQL-Server. Но это будет работать намного быстрее, если вы можете позволить себе лицензию Annalisys Services (минимум SQL Server Standard) и сделать это с помощью кубов OLAP.

Excell, вероятно, переместит эти миллионы строк, но производительность не будет очень хорошей. Это все о ваших требованиях, но перемещение этой сводной таблицы не будет более плавным. В кубах OLAP, если они хорошо спроектированы, поворот стола будет мгновенным.

...