кафка потребительская в R

Question

Я хочу взломать потребителя кафки в Python или R (предпочтительно R). Используя консольный приемник kafka, я могу выполнить поиск строки и получить соответствующие данные, но я не могу понять, как это правильно проанализировать в R.

Есть клиенты kafka, доступные на других языках (например: PHP, CPP), но один из них был бы полезен с точки зрения анализа данных.

Было бы замечательно, если бы опытные разработчики R на этом форуме могли намекнуть / предложить ресурсы, которые позволили бы мне добиться прогресса в этом направлении.

Апач Кафка: инкубатор.apache.org/kafka/

Клиент (ы) Kafka: https://github.com/kafka-dev/kafka/tree/master/clients

Answer 1

[Обновление 2015] есть библиотека, позволяющая подключаться к кафке - rkafka

http://cran.r -project.org / веб / пакеты / rkafka / rkafka.pdf

Answer 2

Поскольку существует C ++ API для Kafka , вы можете использовать Rcpp , чтобы перенести его в R.

Редактировать в ответ на комментарий к решению только для R: я недостаточно хорошо знаю Кафку, чтобы ответить, но в целом промежуточное ПО работает быстро, соединяя несколько клиентов, потоки и т. Д. Так что вы бы упростили что-то, где R (с однопоточностью) может играть с ним.