Способ работы с большими файлами данных в Wolfram Mathematica

Question

Интересно, существует ли способ работы с большими файлами в Mathematica? В настоящее время у меня есть файл около 500 МБ с табличными данными.

Import["data.txt","Table"];

Что такое альтернативный путь?

Answer 1

Используйте OpenRead["file"], что дает вам InputStream объект, на котором вы можете использовать Read[stream]. В зависимости от форматирования файла данных вам может потребоваться установить значения пользовательских опций в Read[] для RecordSeparators.

Пример:

In[1]:= str = OpenRead["ExampleData/USConstitution.txt"]    
Out[1]= InputStream["ExampleData/USConstitution.txt", 24]   

In[2]:= Read[str, Word]    
Out[2]= "We"    
In[3]:= Read[str, Word]
Out[3]= "the"    
In[4]:= Read[str, Record]
Out[4]= "People of the United States, in Order to form a more perfect Union,"

Answer 2

Вы также можете загрузить свои данные в базу данных (например, MySQL) и получить к ним доступ из Mathematica, используя DatabaseLink

Answer 3

Функция DumpSave также может быть полезна для сохранения больших наборов данных. Он сохраняет данные во внутреннем формате Mathematica, поэтому более эффективен как по времени, так и по размеру файла.