Свойство target LIBRARY_OUTPUT_DIRECTORY
указывает каталог, в который будут создаваться целевые файлы библиотеки.
set_target_properties(JE3D PROPERTIES
LIBRARY_OUTPUT_DIRECTORY ${PROJECT_BINARY_DIR}/out/library)
Если все библиотеки находятся в одном каталоге, мне удобнее установить переменную CMAKE_LIBRARY_OUTPUT_DIRECTORY
, которая используется для инициализации свойства LIBRARY_OUTPUT_DIRECTORY
при создании цели.
set(CMAKE_LIBRARY_OUTPUT_DIRECTORY ${PROJECT_BINARY_DIR}/out/library)
Редактировать: Проверить комментарии, если ваша цель - статическая библиотека