Как я могу преобразовать зависимости верхнего уровня из дерева зависимостей mvn: список в список координат Maven, используя bash?

Question

Чтобы разрешить создание команды spark submit для моих приложений без создания uber-jar-ов, я хочу создать разделенный запятыми список maven-координат зависимостей верхнего уровня приложений во время процесса сборки, который я затем смогу использовать в spark-submit с --packages= (или spark.jars.packages=).

Этот список можно получить с помощью `mvn dependency: tree ', которое выводит список в следующем формате:

[INFO] com.myorg:my-project:jar:1.0-SNAPSHOT
[INFO] +- org.scala-lang:scala-library:jar:2.11.12:compile
[INFO] +- org.scala-lang:scala-compiler:jar:2.11.12:compile
[INFO] |  \- org.scala-lang.modules:scala-parser-combinators_2.11:jar:1.0.4:compile
[INFO] +- com.fasterxml.jackson.core:jackson-annotations:jar:2.9.10:compile
[INFO] +- io.circe:circe-config_2.11:jar:0.6.1:compile
[INFO] |  +- com.typesafe:config:jar:1.3.3:compile
[INFO] |  +- io.circe:circe-core_2.11:jar:0.11.1:compile
[INFO] |  |  +- io.circe:circe-numbers_2.11:jar:0.11.1:compile
[INFO] |  |  \- org.typelevel:cats-core_2.11:jar:1.5.0:compile
[INFO] |  |     +- org.typelevel:cats-kernel_2.11:jar:1.5.0:compile
[INFO] |  |     \- org.typelevel:machinist_2.11:jar:0.6.6:compile
[INFO] +- org.scalatest:scalatest_2.11:jar:3.0.8:test
[INFO] |  \- org.scalactic:scalactic_2.11:jar:3.0.8:test
[INFO] \- org.mock-server:mockserver-netty:jar:5.6.1:test
[INFO]    +- org.mock-server:mockserver-client-java:jar:5.6.1:test
[INFO]    +- org.mock-server:mockserver-core:jar:5.6.1:test
[INFO]    |  +- io.netty:netty-codec-socks:jar:4.1.35.Final:test
[INFO]    |  +- com.github.java-json-tools:json-schema-validator:jar:2.2.10:test
[INFO]    |  |  +- javax.mail:mailapi:jar:1.4.3:test
[INFO]    |  |  +- com.googlecode.libphonenumber:libphonenumber:jar:8.0.0:test
[INFO]    |  |  \- net.sf.jopt-simple:jopt-simple:jar:5.0.3:test
[INFO]    |  +- com.jayway.jsonpath:json-path:jar:2.4.0:test
[INFO]    |  |  \- net.minidev:json-smart:jar:2.3:test
[INFO]    |  |     \- net.minidev:accessors-smart:jar:1.2:test
[INFO]    |  |        \- org.ow2.asm:asm:jar:5.0.4:test
[INFO]    |  +- org.apache.commons:commons-text:jar:1.3:test
[INFO]    |  \- org.apache.commons:commons-collections4:jar:4.2:test
[INFO]    +- io.netty:netty-buffer:jar:4.1.35.Final:test
[INFO]    +- io.netty:netty-handler:jar:4.1.35.Final:test
[INFO]    \- io.netty:netty-transport:jar:4.1.35.Final:test
[INFO]       \- io.netty:netty-resolver:jar:4.1.35.Final:test

Обратите внимание, что верхняя часть зависимостям уровня предшествует "[INFO] +- " (с одним пробелом после '-').

Уместны только зависимости ":jar:", и из этих только зависимостей ":compile".

Я хочу вывести только те строки, которые соответствуют всем следующим условиям:

• , начиная с "[INFO] +- "
• , содержащего ":jar:"
• , содержащего ":compile"

и из них извлекаем orginization:package:version примерно так: org.scala-lang:scala-library:jar:2.11.12:compile ==> org.scala-lang:scala-library:2.11.12

, затем объединяем эти выходные данные, разделенные запятыми (,).

Answer 1

У меня сработало следующее решение:

mvn dependency:tree | grep -e '^\[.*\I\N\F\O.*\][[:space:]]+-[[:space:]]' | grep -e ':\j\a\r:' | grep -e ':\c\o\m\p\i\l\e$' | cut -d ' ' -f3 | sed 's/:jar:/:/g' | sed 's/:compile//g' | paste -sd ','

Это учитывает экранирование специальных символов, таких как пробелы и скобки, которые обычно мешают grep.

Команды grep выполняют фильтрацию строк, команду cut разбивают на столбцы и выбирают столбец, команды sed заменяют строки и команду paste объединяют.