Классический шаблон для потребителей с использованием blockingcollection и задач .net 4 TPL - PullRequest
Новая
       32

Классический шаблон для потребителей с использованием blockingcollection и задач .net 4 TPL

19 голосов
/ 28 июня 2011

Пожалуйста, смотрите ниже псевдокод 

//Single or multiple Producers produce using below method
    void Produce(object itemToQueue)
    {
        concurrentQueue.enqueue(itemToQueue);
        consumerSignal.set;
    }

    //somewhere else we have started a consumer like this
    //we have only one consumer
    void StartConsumer()
    {
        while (!concurrentQueue.IsEmpty())
        {
            if (concurrentQueue.TrydeQueue(out item))
            {
                //long running processing of item
            }
        }
        consumerSignal.WaitOne();
    }

Как перенести этот шаблон, который я использовал с незапамятных времен, для использования задач, созданных на основе задач, и новых функций сигнализации сети 4. Другими словами, если кто-тонапишите этот шаблон, используя net 4, как бы он выглядел?Псевдокод в порядке.Я уже использую .net 4 concurrentQueue, как вы можете видеть.Как мне использовать задачу и, возможно, использовать более новый механизм сигнализации, если это возможно.спасибо

Решение моей проблемы ниже, благодаря Джон / Дан.Милая.Никакой ручной сигнализации или циклов типа (true) или while (itemstoProcess), как в старые времена 

//Single or multiple Producers produce using below method
 void Produce(object itemToQueue)
 {
     blockingCollection.add(item);
 }

 //somewhere else we have started a consumer like this
 //this supports multiple consumers !
 task(StartConsuming()).Start; 

 void StartConsuming()
 {
     foreach (object item in blockingCollection.GetConsumingEnumerable())
     {
                //long running processing of item
     }
 }

cancellations are handled using cancel tokens

Ответы [ 3 ]

23 голосов
/ 28 июня 2011

Вы бы использовали BlockingCollection<T>.В документации есть пример.

Этот класс специально разработан, чтобы сделать это тривиальным.

11 голосов
/ 29 июня 2011

Ваш второй блок кода выглядит лучше.Но начинать Task и сразу же ждать его бессмысленно.Просто вызовите Take и затем обработайте элемент, который возвращается непосредственно в потоке-потребителе.Вот как должна создаваться модель производитель-потребитель.Если вы думаете, что обработка рабочих элементов достаточно интенсивна, чтобы гарантировать большее количество потребителей, то непременно запустите больше потребителей.BlockingCollection безопасен для нескольких производителей и для нескольких потребителей. 

public class YourCode
{
  private BlockingCollection<object> queue = new BlockingCollection<object>();

  public YourCode()
  {
    var thread = new Thread(StartConsuming);
    thread.IsBackground = true;
    thread.Start();
  }

  public void Produce(object item)
  {
    queue.Add(item);
  }

  private void StartConsuming()
  {
    while (true)
    {
      object item = queue.Take();
      // Add your code to process the item here.
      // Do not start another task or thread. 
    }
  }
}
1 голос
/ 28 июня 2011

Ранее я использовал шаблон, который создает своего рода потребителя очереди «по требованию» (на основе потребления из ConcurrentQueue): 

        private void FireAndForget(Action fire)
        {
            _firedEvents.Enqueue(fire);
            lock (_taskLock)
            {
                if (_launcherTask == null)
                {
                    _launcherTask = new Task(LaunchEvents);
                    _launcherTask.ContinueWith(EventsComplete);
                    _launcherTask.Start();
                }
            }
        }

        private void LaunchEvents()
        {
            Action nextEvent;

            while (_firedEvents.TryDequeue(out nextEvent))
            {
                if (_synchronized)
                {
                    var syncEvent = nextEvent;
                    _mediator._syncContext.Send(state => syncEvent(), null);
                }
                else
                {
                    nextEvent();                        
                }

                lock (_taskLock)
                {
                    if (_firedEvents.Count == 0)
                    {
                        _launcherTask = null;
                        break;
                    }
                }
            }
        }

        private void EventsComplete(Task task)
        {
            if (task.IsFaulted && task.Exception != null)
            {
                 // Do something with task Exception here
            }
        }
...