Похоже, вам нужно использовать target_link_libraries, поэтому минимальный блок CMake может выглядеть следующим образом:
find_package(VTK REQUIRED)
include(${VTK_USE_FILE})
add_library(mylib SHARED sourcefile.cxx sourcefile2.cxx)
target_link_libraries(mylib vtkRendering)
Это добавит общую библиотеку mylib (libmylib.so в Linux), которая ссылается на vtkRendering.(несколько библиотек могут быть добавлены здесь).Проверьте 'cmake --help-команды' для полного списка команд CMake.