Здесь есть несколько ошибок: во-первых, аргументы после NAMES будут считаться альтернативными библиотеками для поиска. Поэтому, если он не может найти libboinc_api, он попробует libboinc, прежде чем потерпит неудачу. Поэтому вам лучше запустить FIND_LIBRARY дважды, по одному для каждой библиотеки.
Во-вторых, вам нужно либо указать имя библиотеки так, как оно будет указано в опции компоновщика -l, то есть вместо libboinc_api вам нужно просто сказать boinc_api, либо это полное имя файла, как вы делали во второй попытке.
В случае вашей первоначальной попытки cmake попытается найти liblibboinc_api.so, liblibboinc_api.a, в противном случае liblibboinc.so и, наконец, liblibboinc.a.
Попробуйте это:
FIND_LIBRARY(BOINC_LIBRARY_API NAMES boinc_api
DOC "The Boinc API library")
FIND_LIBRARY(BOINC_LIBRARY NAMES boinc
DOC "The Boinc library")
Возможно в обратном порядке.