Итератор с памятью?

Question

Я работаю над приложением, использующим цепочку Маркова.

Ниже приведен пример этого кода:

chain = MarkovChain(order=1)
train_seq = ["","hello","this","is","a","beautiful","world"]

for i, word in enum(train_seq):
 chain.train(previous_state=train_seq[i-1],next_state=word)

То, что я ищу, это итерация по train_seq, но сохранение последних N элементов.

for states in unknown(train_seq,order=1):
 # states should be a list of states, with states[-1] the newest word,
 # and states[:-1] should be the previous occurrences of the iteration.
 chain.train(*states)

Надеюсь, что описание моей проблемы достаточно ясно для

Answer 1

window даст вам n предметов из iterable за раз.

from collections import deque

def window(iterable, n=3):
    it = iter(iterable)
    d = deque(maxlen = n)
    for elem in it:
        d.append(elem)
        yield tuple(d)


print [x for x in window([1, 2, 3, 4, 5])]
# [(1,), (1, 2), (1, 2, 3), (2, 3, 4), (3, 4, 5)]

Если вам нужно одинаковое количество предметов даже в первые несколько раз,

from collections import deque
from itertools import islice

def window(iterable, n=3):
    it = iter(iterable)
    d = deque((next(it) for Null in range(n-1)), n)
    for elem in it:
        d.append(elem)
        yield tuple(d)


print [x for x in window([1, 2, 3, 4, 5])]

сделает это.

Answer 2

seq = [1,2,3,4,5,6,7]
for w in zip(seq, seq[1:]):
  print w

Вы также можете сделать следующее для создания пар произвольного размера:

tuple_size = 2
for w in zip(*(seq[i:] for i in range(tuple_size)))
  print w

edit: Но, вероятно, лучше использовать итеративный zip:

from itertools import izip

tuple_size = 4
for w in izip(*(seq[i:] for i in range(tuple_size)))
  print w

Я попробовал это в своей системе, получив seq, равный 10 000 000 целых чисел, и результаты были довольно быстрыми.

Answer 3

Улучшение ответа Яна, чтобы избежать копий:

from itertools import *

def staggered_iterators(sequence, count):
  iterator = iter(sequence)
  for i in xrange(count):
    result, iterator = tee(iterator)
    yield result
    next(iterator)

tuple_size = 4
for w in izip(*(i for i in takewhile(staggered_iterators(seq, order)))):
  print w