Команда target_link_libraries
поддерживает ключевые слова "debug" и "optimized", которые указывают, что библиотека, следующая непосредственно за ней, должна использоваться только для соответствующей конфигурации сборки:
target_link_libraries(MyTarget debug externalLib_d optimized externalLib)
Если отладка ибиблиотеки релизов находятся в разных каталогах, укажите полный путь, например:
target_link_libraries(MyTarget debug "debug_dir/externalLib_d" optimized "release_dir/externalLib")
Также см. документацию по команде target_link_libraries .