Как импортировать большой набор данных в SAS? - PullRequest
4 голосов
/ 12 февраля 2011

У меня довольно большой набор данных в текстовом файле, около 25 миллионов строк и 200 столбцов (все они числовые).Я хотел бы провести по ним некоторую сводную статистику и анализ данных (анализ выживания).

  1. Какой самый быстрый способ импорта данных в SAS?

  2. Сколько памяти мне нужно для моего ПК, чтобы запустить такой большой набор данных?

Поскольку я новичок в SASлюбые советы будут высоко ценится.

1 Ответ

4 голосов
/ 12 февраля 2011

Предостережение: я никогда не делаю такого рода вещи в SAS, но мне кажется, я понимаю, как SAS работает достаточно хорошо, чтобы делать предположения.

  1. Я не уверенчто все будет гораздо быстрее, чем просто чтение вашего набора данных при использовании PROC IMPORT.Предварительное указание информации и форматов может помочь немного ускорить процесс, но PROC IMPORT выводит их по умолчанию только из первых 20 записей, поэтому не похоже, что он будет читать весь ваш набор данных, чтобы выяснить, какие типы данных использовать.Тот факт, что все ваши столбцы являются числовыми, вероятно, поможет.Самое главное - обязательно сохранить результаты в постоянном наборе данных (т. Е. Указать для него библиотеку) - если вам нужно импортировать данные только один раз, на самом деле не имеет значения, занимает ли это много времени.

  2. Одна из приятных сторон SAS заключается в том, что он хранит данные на диске, а не в памяти по умолчанию, поэтому размер вашей оперативной памяти на самом деле не ограничивает размер вашего набора данных.Это может ограничить то, что вы можете сделать с этим набором данных, но я недостаточно знаю о внутренних операциях SAS, чтобы предсказать, с чем у вас возникнут проблемы.

Надеюсь, это такнекоторая помощь - но, прежде всего, я бы посоветовал вам просто начать.Вы очень быстро узнаете, что SAS может и не может сделать с вашими данными.

...