За исключением флага компоновщика. Вы должны использовать target_link_library(target m).
Не устанавливайте флаги компиляции для операции компоновщика, они не распространяются по уважительным причинам. Это может быть CMAKE_EXE_LINKER_FLAGS или CMAKE_SHARED_LINKER_FLAGS, но есть надлежащие команды CMake, чтобы проверить, доступны ли библиотеки и правильно ли обрабатываются зависимости (не тот случай, когда вы изменяете флаги напрямую).