MongoDB ETL (PHP / Java ...)

Question

Есть ли ETL для MongoDB? ...

Answer 1

Pentaho Data Integration поддерживает MongoDB (см. Документацию http://wiki.pentaho.com/display/EAI/Pentaho+Data+Integration+Steps).

Аналогично Talend поддерживает MongoDB: https://github.com/adrien-mogenet/tMongoDBConnection

Answer 2

Для простых вставок документов CSV я бы посоветовал взглянуть на Mongo wiki страницу Инструменты экспорта экспорта .

Для чего-либо более сложного я бы предложил написатьспециальный скрипт на языке, который вам наиболее удобен.

Answer 3

Кажется, что Pentaho Data Integration и Talend поддерживает только чтение из MongoDB, но не запись.

Другим инструментом, который только что объявил о поддержке MongoDB, является DataCleaner, и он поддерживает операции чтения и записи. Он не позиционирует себя как инструмент ETL, но больше похож на инструмент анализа качества данных, но также имеет возможности, подобные ETL.

http://datacleaner.eobjects.org

Answer 4

Pentaho DI поддерживает чтение MongoDB. Я не уверен насчет записей. Я бы подумал, что, учитывая базовую структуру MongoDB, в отличие от обычной RDBMS, вам лучше искать нестандартный процесс / сценарий ETL с использованием python / java, а не готовых инструментов, которые могут не выполнять то, на что они претендуют. В конце концов, один из этих игроков на рынке BI-ETL будет иметь это в своем инструменте, когда процесс завершится и будет многократно проверен на mongoDb

.

Answer 5

Эта программа PHP автоматически переносит базу данных MongoDB в MySQL, Он анализирует коллекции Mogno, создает схему MySQL и передает данные. Это делает только 1 уровень глубины (уровень 0 и 1), более глубокое вложение не переносится:

http://my.sociopal.com/sociopaltech/post?id=simple_utility_for_copying_data_from_mongodb_to_mysql_this_is_a_simple_php_program_im_using_in_o_61755

Answer 6

Я создал драйвер MongoDB для инструмента Scriptella ETL . Это доступно в https://github.com/scriptella/scriptella-mongodb.

Пример переноса данных из реляционной таблицы:

<connection id="out" url="mongodb://localhost/test"  classpath="../lib/scriptella-mongodb-driver.jar:../lib/mongo-java-driver-2.10.1.jar" />

<query connection-id="in">
    SELECT * FROM USERS
    <script connection-id="out">
        {
            operation: 'db.collection.save',
            collection: 'users',
            data: {
                user_id: '?user_id',
                name: '?name'
            }
        }
    </script>
</query>

Answer 7

Я создал собственное решение ETL со скриптами Python для передачи данных из MySQL в MongoDB.Это потрясающе, на мой взгляд.

В основном я использовал следующие два модуля python для доступа к mysql и mongodb:

1. pymongo
2. python-mysql.connect

Оба они устанавливаются из официального репозитория Ubuntu.