Я новичок в бигдате и улье.
Нужно работать с другим разработчиком приложения для потокового воспроизведения, где оно включает чтение из Kafka и размещение его в hive / hdfs. Другой разработчик использует / указывает на то же местоположение hdfs, читает файлы куста и выполняет дальнейшую обработку.
Моя среда разработки - Eclipse в моей системе Windows.
Другой разработчик env - Eclipse на своей машине.
Поскольку оба работают над одними и теми же файлами, есть ли способ разделить путь hdfs между нами?
Пожалуйста, поделитесь подробностями о том, как такие сценарии обрабатывались в командах разработчиков спарк?
Советы, лучшие практики и пр.
Большое спасибо,
Shyam