Импорт файла TSV в DynamoDB - PullRequest
       6

Импорт файла TSV в DynamoDB

0 голосов
/ 12 января 2019

У меня есть набор данных, полученный из реестра открытых данных на AWS. Это ссылка моего набора данных. Я хочу импортировать этот набор данных в таблицу DynamoDb, но я не знаю, как это сделать

Я пытался использовать конвейер данных, от корзины S3 до DynamoDB, но это не сработало

в javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1836) в org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:169) вызвано by: com.google.gson.stream.MalformedJsonException: ожидается ":" в строка 1 столбец 20 в com.google.gson.stream.JsonReader.syntaxError (JsonReader.java:1505) в com.google.gson.stream.JsonReader.doPeek (JsonReader.java:519) в com.google.gson.stream.JsonReader.peek (JsonReader.java:414) в com.google.gson.internal.bind.ReflectiveTypeAdapterFactory $ Adapter.read (ReflectiveTypeAdapterFactory.java:157) в com.google.gson.internal.bind.TypeAdapterRuntimeTypeWrapper.read (TypeAdapterRuntimeTypeWrapper.java:40) в com.google.gson.internal.bind.MapTypeAdapterFactory $ Adapter.read (MapTypeAdapterFactory.java:187) в com.google.gson.internal.bind.MapTypeAdapterFactory $ Adapter.read (MapTypeAdapterFactory.java:145) на com.google.gson.Gson.fromJson (Gson.java:803) ... еще 15 исключений в теме "главная" java.io.

У меня есть эта ошибка, и я не знаю, как ее исправить. чем я скачал файл локально, но я не могу импортировать его в свою таблицу в DynamoDb

На данный момент нет кода, все, что я делаю, это конфигурация

Я ожидаю, что данные будут занесены в мою таблицу, но, к сожалению, я не смог достичь своей цели

1 Ответ

0 голосов
/ 29 января 2019

Я, наконец, преобразовал файл TSV в файл CSV, а затем в файл Json, используя скрипт Python. с файлом Json намного проще

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...