Как мы можем отобразить структуру данных в python? - PullRequest
0 голосов
/ 08 апреля 2020

У меня есть огромный словарь с некоторым содержанием в памяти, который был создан путем поиска похожего предложения в большом корпусе Википедии. Он имеет формат ниже диктонного, когда я записал в файл его размер 150 МБ. Теперь перед записью его в файл я хочу предварительно обработать этот диктонар и удалить предложения, имеющие какое-либо имя кластера (например, если имя кластера «sport_Soccer», я хочу чтобы удалить те предложения, которые являются ключами в диктонарном), чтобы сделать это, мне нужно l oop через этот огромный диктонар в памяти и отфильтровать его очень долго, я читал о mmap, и многие говорили, что это помогает ускорить операции, поэтому я попытался загрузить свой справочник, используя mmap, но получил ошибку ниже, и все уроки показывают только, как загрузить файл, используя mmap, поэтому mmap ограничен только файлами, а не структурами данных?

cluster_dict = {... . "предложения": "имя кластера" .. .. ..}

dd={"the soccer match news will be telecasted live today":"sport_Soccer","The stock markets crashed":"Trading_market"}
ss = mmap.mmap(dd.fileno(), 0)

ss = mmap.mmap(dd.fileno(), 0)

AttributeError: 'dict' object has no attribute 'fileno'

, когда я только что использовал приведенный ниже код, он выдал другую ошибку ss = mmap.mmap (dd, 0)

TypeError: требуется целое число (получил тип dict)

1 Ответ

0 голосов
/ 08 апреля 2020

dict - это структура данных Python, , а не формат файла. Если вы пытаетесь сохранить и перезагрузить данные dict, я рекомендую использовать пакет json. Методы dump и load делают то, что я считаю нужным: надежный способ хранения и извлечения данных значения ключа.

...