Диктофон с ключом в Python - PullRequest
       47

Диктофон с ключом в Python

27 голосов
/ 24 августа 2009

Я ищу надежную реализацию упорядоченного ассоциативного массива, то есть упорядоченного словаря. Я хочу упорядочить по ключам, а не по порядку вставки.

Точнее, я ищу эффективную для пространства реализацию структуры отображения типа int-to-float (или string-to-float для другого варианта использования), для которой:

  • Заказанная итерация O (n)
  • Произвольный доступ O (1)

Лучшее, что я придумал, это приклеить дикт и список ключей, оставив последний в порядке с помощью пополам и вставки.

Есть идеи получше?

Ответы [ 10 ]

28 голосов
/ 24 августа 2009

«Произвольный доступ O (1)» является чрезвычайно требовательным требованием, которое в основном накладывает основную хэш-таблицу - и я надеюсь, что вы имеете в виду только случайные ЧТЕНИЯ, потому что я думаю, что это может быть математически доказано, чем невозможно в общем случае иметь O (1) записи, а также (N) упорядоченную итерацию.

Я не думаю, что вы найдете предварительно упакованный контейнер, подходящий для ваших нужд, потому что они настолько экстремальны - доступ O (log N), конечно, будет иметь все значение в мире. Чтобы получить поведение big-O, которое вы хотите для чтения и итерации, вам нужно склеить две структуры данных, по существу, dict и кучу (или отсортированный список или дерево), и синхронизировать их. Хотя вы не укажете, я думаю, вы получите амортизированное поведение того типа, который вам нужен - если только вы действительно не готовы платить какие-либо потери производительности за вставки и удаления, что является буквальным следствием спецификации, которые вы выражаете, но в реальной жизни кажется маловероятным требованием.

Для чтения O (1) и амортизированной O (N) упорядоченной итерации, просто сохраните список всех ключей на стороне диктанта. E.g.:

class Crazy(object):
  def __init__(self):
    self.d = {}
    self.L = []
    self.sorted = True
  def __getitem__(self, k):
    return self.d[k]
  def __setitem__(self, k, v):
    if k not in self.d:
      self.L.append(k)
      self.sorted = False
    self.d[k] = v
  def __delitem__(self, k):
    del self.d[k]
    self.L.remove(k)
  def __iter__(self):
    if not self.sorted:
      self.L.sort()
      self.sorted = True
    return iter(self.L)

Если вам не нравится «амортизированный порядок O (N)», вы можете удалить self.sorted и просто повторить self.L.sort() в __setitem__. Это делает записи O (N log N), конечно (в то время как у меня все еще были записи в O (1)). Любой из этих подходов жизнеспособен, и трудно представить, что один из них по своей сути превосходит другой. Если вы склонны делать кучу записей, то кучу итераций, тогда подход в приведенном выше коде является лучшим; если обычно это одна запись, одна итерация, другая запись, другая итерация, то это просто промывка.

Кстати, здесь используются бесстыдные преимущества необычных (и замечательных ;-) характеристик производительности сортировки Python (также называемой "timsort"): среди них сортировка списка, который в основном отсортирован, но с несколькими дополнительными элементами, прикрепленными в конце в основном O (N) (если привязанных элементов достаточно мало по сравнению с отсортированной префиксной частью). Я слышал, что Java быстро обретает подобный вид, так как Джош Блок был настолько впечатлен техническим разговором о Python, что он тут же начал кодировать его для JVM на своем ноутбуке. Большинство систем (включая, я полагаю, Jython на сегодняшний день и IronPython) в основном имеют сортировку как операцию O (N log N), не используя преимущества «в основном упорядоченных» входных данных; «Естественное слияние», которое Тим Питерс создал сегодня в Python, является чудом в этом отношении.

9 голосов
/ 10 апреля 2014

Модуль sortedcontainers обеспечивает тип SortedDict , который соответствует вашим требованиям. Он в основном склеивает SortedList и тип dict вместе. Dict обеспечивает O (1) поиск, а SortedList обеспечивает O (N) итерацию (это очень быстро). Весь модуль на чистом Python и содержит графов тестов для резервного копирования заявлений о производительности (реализации fast-as-C). SortedDict также полностью протестирован со 100% покрытием и часами стресса. Он совместим с Python 2.6 до 3.4.

5 голосов
/ 24 августа 2009

Вот моя собственная реализация:

import bisect
class KeyOrderedDict(object):
   __slots__ = ['d', 'l']
   def __init__(self, *args, **kwargs):
      self.l = sorted(kwargs)
      self.d = kwargs

   def __setitem__(self, k, v):
      if not k in self.d:
         idx = bisect.bisect(self.l, k)
         self.l.insert(idx, k)
       self.d[k] = v

   def __getitem__(self, k):
      return self.d[k]

   def __delitem__(self, k):
      idx = bisect.bisect_left(self.l, k)
      del self.l[idx]
      del self.d[k]

   def __iter__(self):
      return iter(self.l)

   def __contains__(self, k):
      return k in self.d

Использование bisect сохраняет порядок self.l, и вставка O (n) (из-за вставки, но не убийца в моем случае, потому что я добавляю гораздо чаще, чем вставка по-настоящему, поэтому обычный случай амортизируется O (1)). Доступ O (1) и итерация O (n). Но, может быть, кто-то изобрел (на С) что-то с более умной структурой?

4 голосов
/ 24 августа 2009

Упорядоченное дерево обычно лучше для этих случаев, но произвольный доступ будет log (n). Следует также учитывать расходы на вставку и удаление ...

1 голос
/ 17 июня 2012

Пакет orderdict (http://anthon.home.xs4all.nl/Python/ordereddict/), который я реализовал еще в 2007 году, включает sorteddict. sorteddict - это словарь KSO (Key Sorted Order). Он реализован на C и очень компактен и в несколько раз быстрее, чем реализация на чистом Python. Недостатком является то, что работает только с CPython.

>>> from _ordereddict import sorteddict
>>> x = sorteddict()
>>> x[1] = 1.0
>>> x[3] = 3.3
>>> x[2] = 2.2
>>> print x
sorteddict([(1, 1.0), (2, 2.2), (3, 3.3)])
>>> for i in x:
...    print i, x[i]
... 
1 1.0
2 2.2
3 3.3
>>> 

Извините за поздний ответ, возможно, этот ответ поможет другим найти эту библиотеку.

1 голос
/ 24 августа 2009

Я не уверен, с какой версией Python вы работаете, но если вы хотите поэкспериментировать, Python 3.1 включает в себя и официальную реализацию словарей Ordered: http://www.python.org/dev/peps/pep-0372/ http://docs.python.org/3.1/whatsnew/3.1.html#pep-372-ordered-dictionaries

1 голос
/ 24 августа 2009

Вы можете построить диктет, который позволяет проходить путем хранения пары (value, next_key) в каждой позиции.

Случайный доступ:

my_dict[k][0]   # for a key k

Traversal:

k = start_key   # stored somewhere
while k is not None:     # next_key is None at the end of the list
    v, k = my_dict[k]
    yield v

Держите указатель на start и end, и вы получите эффективное обновление для тех случаев, когда вам просто нужно добавить в конец списка.

Вставка в середине, очевидно, O (n). Возможно, вы могли бы создать список пропуска поверх него, если вам нужна большая скорость.

0 голосов
/ 19 февраля 2018

Вот один вариант, который не был упомянут в других ответах, я думаю:

  • Используйте двоичное дерево поиска ( Tr e ap / AVL / RB ), чтобы сохранить отображение.
  • Также используйте hashmap (он же словарь), чтобы сохранить то же отображение (снова).

Это обеспечит O (n) упорядоченный обход (через дерево), O (1) произвольный доступ (через хэш-карту) и O (log n) вставка / удаление (потому что вам нужно обновить как дерево, так и хеш).

Недостатком является необходимость хранить все данные дважды, однако альтернативы, которые предлагают хранить список ключей вместе с хэш-картой, не намного лучше в этом смысле.

0 голосов
/ 07 августа 2013

Для решения проблемы «строка в число» вы можете использовать Trie - он обеспечивает O (1) время доступа и O (n) отсортированную итерацию. Под «отсортированным» я подразумеваю «отсортированный по алфавиту по ключу» - кажется, что вопрос подразумевает то же самое.

Некоторые реализации (каждая со своими сильными и слабыми сторонами):

  • https://github.com/biopython/biopython имеет модуль Bio.trie с полнофункциональным Trie; другие пакеты Trie более эффективны в памяти;
  • https://github.com/kmike/datrie - случайные вставки могут быть медленными, ключи алфавита должны быть известны заранее;
  • https://github.com/kmike/hat-trie - все операции выполняются быстро, но многие методы dict не реализованы; Базовая библиотека C поддерживает отсортированную итерацию, но она не реализована в оболочке;
  • https://github.com/kmike/marisa-trie - очень эффективно использует память, но не поддерживает вставки; итерация не сортируется по умолчанию, но может быть отсортирована (пример есть в документах);
  • https://github.com/kmike/DAWG - можно рассматривать как минимизированное Trie; очень быстро и эффективно использует память, но не поддерживает вставки; имеет ограничения по размеру (несколько ГБ данных)
0 голосов
/ 24 августа 2009

вот тебе пирожок: мне нужно было нечто подобное. Тем не менее, обратите внимание, что эта конкретная реализация является неизменной, после создания экземпляра вставок нет: однако точная производительность не совсем соответствует запрашиваемой. Поиск - O (log n), а полное сканирование - O (n). Это работает с использованием модуля bisect на кортеже пар ключ / значение (кортеж). Даже если вы не можете использовать это точно, у вас может быть успех в адаптации к вашим потребностям.

import bisect

class dictuple(object):
    """
        >>> h0 = dictuple()
        >>> h1 = dictuple({"apples": 1, "bananas":2})
        >>> h2 = dictuple({"bananas": 3, "mangoes": 5})
        >>> h1+h2
        ('apples':1, 'bananas':3, 'mangoes':5)
        >>> h1 > h2
        False
        >>> h1 > 6
        False
        >>> 'apples' in h1
        True
        >>> 'apples' in h2
        False
        >>> d1 = {}
        >>> d1[h1] = "salad"
        >>> d1[h1]
        'salad'
        >>> d1[h2]
        Traceback (most recent call last):
        ...
        KeyError: ('bananas':3, 'mangoes':5)
   """


    def __new__(cls, *args, **kwargs):
        initial = {}
        args = [] if args is None else args
        for arg in args:
            initial.update(arg)
        initial.update(kwargs)

        instance = object.__new__(cls)
        instance.__items = tuple(sorted(initial.items(),key=lambda i:i[0]))
        return instance

    def __init__(self,*args, **kwargs):
        pass

    def __find(self,key):
        return bisect.bisect(self.__items, (key,))


    def __getitem__(self, key):
        ind = self.__find(key)
        if self.__items[ind][0] == key:
            return self.__items[ind][1]
        raise KeyError(key)
    def __repr__(self):
        return "({0})".format(", ".join(
                        "{0}:{1}".format(repr(item[0]),repr(item[1]))
                          for item in self.__items))
    def __contains__(self,key):
        ind = self.__find(key)
        return self.__items[ind][0] == key
    def __cmp__(self,other):

        return cmp(self.__class__.__name__, other.__class__.__name__
                  ) or cmp(self.__items, other.__items)
    def __eq__(self,other):
        return self.__items == other.__items
    def __format__(self,key):
        pass
    #def __ge__(self,key):
    #    pass
    #def __getattribute__(self,key):
    #    pass
    #def __gt__(self,key):
    #    pass
    __seed = hash("dictuple")
    def __hash__(self):
        return dictuple.__seed^hash(self.__items)
    def __iter__(self):
        return self.iterkeys()
    def __len__(self):
        return len(self.__items)
    #def __reduce__(self,key):
    #    pass
    #def __reduce_ex__(self,key):
    #    pass
    #def __sizeof__(self,key):
    #    pass

    @classmethod
    def fromkeys(cls,key,v=None):
        cls(dict.fromkeys(key,v))

    def get(self,key, default):
        ind = self.__find(key)
        return self.__items[ind][1] if self.__items[ind][0] == key else default

    def has_key(self,key):
        ind = self.__find(key)
        return self.__items[ind][0] == key

    def items(self):
        return list(self.iteritems())

    def iteritems(self):
        return iter(self.__items)

    def iterkeys(self):
        return (i[0] for i in self.__items)

    def itervalues(self):
        return (i[1] for i in self.__items)

    def keys(self):
        return list(self.iterkeys())

    def values(self):
        return list(self.itervalues())
    def __add__(self, other):
        _sum = dict(self.__items)
        _sum.update(other.__items)
        return self.__class__(_sum)

if __name__ == "__main__":
    import doctest
    doctest.testmod()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...