Свинья Hadoop: Передача аргументов командной строки - PullRequest
Новая
       9

Свинья Hadoop: Передача аргументов командной строки

22 голосов
/ 12 ноября 2010

Есть ли способ сделать это?например, передать имя файла для обработки и т. д.?

Ответы [ 4 ]

40 голосов
/ 13 ноября 2010

Это обнаружилось в другой вопрос , но вы можете указать входной параметр в командной строке и использовать его при загрузке, например:

Командная строка:

pig -f script.pig -param input = somefile.txt

script.pig:

raw = LOAD '$ input' AS (...);

Обратите внимание, что если вы используете Amazon Web Services Elastic Map Reduce, то $ input - это то, что передается в сценарий для любого предоставленного вами ввода.

4 голосов
/ 06 мая 2017

Вы можете использовать ...
1. если параметров мало, используйте -param (-p)
2. если параметров много, используйте -param_file (-m)

Вы можете использовать любой подход в зависимости от характера значения аргументов командной строки, я использую -param, когда я разрабатываю и тестирую свои скрипты. Когда сценарий pig будет готов для пакетной обработки или запуска через crontab, я использую -param_file, чтобы при необходимости можно было легко обновить файл params.init.

человек свинья покажет вам все доступные варианты. 

-m, -param_file path to the parameter file
-p, -param key value pair of the form param=val

Вот пример кода ...

Students.txt (входные данные) 

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

params.init (файл для хранения всех параметров) 

fileName='hdfs://horton/user/jgosalia/students.txt'
cityName='Chennai'

filter.pig 

students = LOAD '$fileName' USING PigStorage(',') AS (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray);
students = FILTER students BY city == '$cityName';
DUMP students;

OPT 1: Использование параметров в командной строке (-param или -p) & Output 

pig -param fileName='hdfs://horton/user/jgosalia/students.txt' -param cityName='Chennai' filter.pig

... Trimming the logs ...

(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)

OPT 2: Использование файла параметров в командной строке (-param_file или -m) и вывод 

pig -param_file params.init filter.pig

... Trimming the logs ...

(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)

ПРИМЕЧАНИЕ: используйте абсолютный путь для путей к файлам (как в качестве параметров, так и при указании пути к файлу param для -param_file (-m)).

2 голосов
/ 09 января 2014

Параметры просто передать в сценарий PIG.

Сначала отметьте ваши переменные в pig, используя '$', например, $ input_file.Затем передайте параметры скрипту, используя pig -params input_file = '/ path / to / data'

, для получения дополнительной информации смотрите здесь: http://wiki.apache.org/pig/ParameterSubstitution

0 голосов
/ 29 июля 2014

Да.

Вы можете передавать параметры по параметрам командной строки, используя параметр param. 

--customparam.pig
--load hdfs/local fs data 
 original = load '$input' using PigStorage('$delimiter');
--filter a specific field value into another bag  
 filtered = foreach original generate $split; 
--storing data into hdfs/local fs 
  store filtered into '$output';

pig -x local -f customparam.pig -param input = Pig.csv -param output = OUT / pig -param delimiter = "," -param split = '$ 1'

Для получения дополнительной информации: отметьте это

...