Hadoop JUnit тестирование записи / чтения в / из hdfs - PullRequest
1 голос
/ 09 июня 2011

Я написал класс (ы), который пишет и читает из hdfs.При определенных условиях, возникающих при создании экземпляров этих классов, они создают определенный путь и файл и записывают его (или переходят к ранее созданному пути и файлу и читают из него).Я протестировал его, запустив несколько заданий hadoop, и он, кажется, работает правильно.

Однако я хотел бы иметь возможность проверить это в среде JUnit, но я не нашел хорошего решения длявозможность тестировать чтение и запись в hdfs в JUnit.Буду признателен за полезный совет по этому вопросу.Благодарю.

1 Ответ

3 голосов
/ 18 июня 2011

Я сам еще не пробовал, но я верю, что вы ищете org.apache.hadoop.hdfs.MiniDFSCluster.

Он находится в hadoop-test-.jar, а НЕ hadoop-core-.jar.Я предполагаю, что проект Hadoop использует его для внутреннего тестирования.

Вот оно:

http://svn.apache.org/viewvc/hadoop/hdfs/trunk/src/test/hdfs/org/apache/hadoop/hdfs/MiniDFSCluster.java?revision=1127823&view=markup&pathrev=1130381

Я думаю, что есть много вариантов его использования в том же каталоге,но вот один:

http://svn.apache.org/viewvc/hadoop/hdfs/trunk/src/test/hdfs/org/apache/hadoop/hdfs/TestWriteRead.java?revision=1130381&view=markup&pathrev=1130381

...