Вычислить метрики с помощью Deequ с Scala

Question

Я новичок в Scala и Amazon Deequ.Меня попросили написать код Scala, который вычислял бы метрики (например, Completeness, CountDistinct и т. Д.) Для ограничений, используя Deequ в исходных csv файлах, хранящихся в S3, и загружал сгенерированные метрикив таблице Glue, которая в дальнейшем будет использоваться для составления отчетов.

Может ли кто-нибудь помочь мне, указав мне правильное направление на онлайн-ресурсы, которые помогут мне достичь этого?Я новичок в Scala и Deequ.Так может кто-нибудь дать мне пример кода Scala и объяснить, как можно использовать библиотеки deequ и т. Д.?

Пожалуйста, дайте мне знать, если для объяснения моего вопроса требуется дополнительная информация.

Answer 1

Спасибо за ваш интерес к Deequ.На странице github deequ есть информация о том, как начать ее использовать: https://github.com/awslabs/deequ

Кроме того, в блоге AWS есть блог с несколькими примерами: https://aws.amazon.com/blogs/big-data/test-data-quality-at-scale-with-deequ/

Бест, Себастьян