Хотите преобразовать тип данных каждого столбца в строковый тип данных в apache beam, используя java - PullRequest
Новая
       76

Хотите преобразовать тип данных каждого столбца в строковый тип данных в apache beam, используя java

0 голосов
/ 25 апреля 2020

конвейер

/ * * Шаг 1: Чтение записей через JDB C и преобразование в TableRow * через {@link org. apache .beam.sdk.io.jdb c .JdbcIO .RowMapper} * / 

.apply(
    "Read from JdbcIO",
    DynamicJdbcIO.<TableRow>read()
        .withDataSourceConfiguration(
            DynamicJdbcIO.DynamicDataSourceConfiguration.create(
                    options.getDriverClassName(),
                    maybeDecrypt(options.getConnectionURL(), options.getKMSEncryptionKey()))
                .withUsername(
                    maybeDecrypt(options.getUsername(), options.getKMSEncryptionKey()))
                .withPassword(
                    maybeDecrypt(options.getPassword(), options.getKMSEncryptionKey()))
                .withDriverJars(options.getDriverJars())
                .withConnectionProperties(options.getConnectionProperties()))
        .withQuery(options.getQuery())
        .withCoder(TableRowJsonCoder.of())
        .withRowMapper(JdbcConverters.getResultSetToTableRow()))


/*
 * Step 2: Append TableRow to an existing BigQuery table
 */


.apply(
    "Write to BigQuery",
    BigQueryIO.writeTableRows()
        .withoutValidation()
        .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER)
        .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_APPEND)
        .withCustomGcsTempLocation(options.getBigQueryLoadingTemporaryDirectory())
        .to(options.getOutputTable()));

return pipeline.run ();

}}

Я хочу преобразовать любой тип данных каждого столбца каждой строки в строку тип данных с использованием языка java в apache конвейер луча.

...