Каждая поддерживаемая платформа имеет свою собственную версию артефактов модуля JavaFx, поэтому вам необходимо указать ее также:
compile group: 'org.openjfx', name: 'javafx-controls', version: '11', classifier: 'linux' //'win', 'mac'
Кроме того, вам потребуется явно добавить все транзитивные зависимости включенных модулей javafx, посколькуGradle не может самостоятельно разрешить модули, специфичные для платформы:
compile group: 'org.openjfx', name: 'javafx-base', version: '11', classifier: 'linux'
compile group: 'org.openjfx', name: 'javafx-graphics', version: '11', classifier: 'linux'
Проверьте официальную документацию: https://openjfx.io/openjfx-docs/#gradle