Выполнение Свиньи на другом каркасе

Question

Я понимаю, что Pig Latin - это язык потоков данных. В этом смысле теоретически должно быть возможно выполнить Pig Latin в любой среде, хотя в настоящее время и предполагается, что она будет выполняться в среде Hadoop. Насколько сложно было бы переключить Pig Latin на другую платформу? Существуют ли какие-либо точки расширения для этого, если они вообще существуют или Pig Latin тесно связана с Hadoop?

Answer 1

PigLatin тесно связан с Hadoop. По сути, сценарий PigLatin интерпретируется в виде серии заданий Hadoop MapReduce, и на самом деле не так уж много способов поменять этот базовый уровень вычислений данных.

Вы можете написать собственный загрузчик и пользовательский модуль записи для загрузки и сохранения в пользовательских хранилищах данных, но в конце концов он все еще запускает задание Hadoop MapReduce.