Свинья интегрирована с Cassandra: простой распределенный запрос занимает несколько минут. Это нормально? - PullRequest
Новая
       14

Свинья интегрирована с Cassandra: простой распределенный запрос занимает несколько минут. Это нормально?

0 голосов
/ 13 января 2012

Я настроил тестовую интеграцию Cassandra + Pig / Hadoop. 8 узлов - это узлы Cassandra + TaskTracker, 1 узел - это JobTracker / NameNode.

Я запустил клиент Cassandra и создал простой бит данных, указанный в файле Readme.txt в дистрибутиве Cassandra: 

  [default@unknown] create keyspace Keyspace1;
  [default@unknown] use Keyspace1;
  [default@Keyspace1] create column family Users with comparator=UTF8Type and default_validation_class=UTF8Type and key_validation_class=UTF8Type;
  [default@KS1] set Users[jsmith][first] = 'John';
  [default@KS1] set Users[jsmith][last] = 'Smith';
  [default@KS1] set Users[jsmith][age] = long(42)

Затем я запустил пример запроса свиньи, указанный в CASSANDRA_HOME (используя pig_cassandra): 

grunt> rows = LOAD 'cassandra://Keyspace1/Users' USING CassandraStorage() AS (key, columns: bag {T: tuple(name, value)});
grunt> cols = FOREACH rows GENERATE flatten(columns);
grunt> colnames = FOREACH cols GENERATE $0;
grunt> namegroups = GROUP colnames BY (chararray) $0;
grunt> namecounts = FOREACH namegroups GENERATE COUNT($1), group;
grunt> orderednames = ORDER namecounts BY $0;
grunt> topnames = LIMIT orderednames 50;
grunt> dump topnames;

Потребовалось около 3 минут. 

    HadoopVersion   PigVersion      UserId  StartedAt                FinishedAt                            Features
    1.0.0             0.9.1          root    2012-01-12      22:16:53     2012-01-12 22:20:22     GROUP_BY,ORDER_BY,LIMIT
Success!

Job Stats (time in seconds):
JobId   Maps    Reduces MaxMapTime      MinMapTIme      AvgMapTime      MaxReduceTime   MinReduceTime   AvgReduceTime   Alias   Feature Outputs
job_201201121817_0010   8       1       12      6       9       21      21      21      colnames,cols,namecounts,namegroups,rows        GROUP_BY,COMBINER       
job_201201121817_0011   1       1       6       6       6       15      15      15      orderednames    SAMPLER 
job_201201121817_0012   1       1       9       9       9       15      15      15      orderednames    ORDER_BY,COMBINER       hdfs://xxxx/tmp/temp-744158198/tmp-1598279340,

Input(s):
Successfully read 1 records (3232 bytes) from: "cassandra://Keyspace1/Users"

Output(s):
Successfully stored 3 records (63 bytes) in: "hdfs://xxxx/tmp/temp-744158198/tmp-1598279340"

Counters:
Total records written : 3
Total bytes written : 63
Spillable Memory Manager spill count : 0
Total bags proactively spilled: 0
Total records proactively spilled: 0

В журнале не было ошибок или предупреждений.

Это нормально или что-то не так?

1 Ответ

2 голосов
/ 13 января 2012

Да, это нормально, потому что запуск задания Map / Reduce в Hadoop обычно занимает около 1 минуты только для запуска. Pig генерирует несколько заданий Map / Reduce в зависимости от сложности скрипта.

...