У меня 8023 идентификатора, которые нужно проанализировать.Для того, чтобы разобрать их асинхронно, у меня есть очередь с именем parser.Первоначально я передавал идентификаторы в очередь следующим образом
jobs = group(parse.s(item.id) for item in products)
jobs.apply_async()
Но когда я делаю это, иногда apply_aync занимает очень много времени (> 10 минут), и мой основной процесс застревает.После небольшого расследования я наткнулся на куски.Я реализовал это следующим образом
parser_param = [item.id for item in products]
parse.chunks(iter(parser_param), 100).apply_async(queue='parser')
Но это только добавляет 81 задачу в анализатор очереди.Когда я получил одно из сообщений из этой очереди, я увидел, что в основном он разделил список идентификаторов на более мелкие списки по 100 идентификаторов каждый и передал небольшой список анализатору.задачи парсера ожидают только один аргумент (id), а не список, и поэтому я получаю TypeError