После быстрого просмотра источника CUSP кажется, что CUSP следует той же модели, что и (и даже использует) Thrust. Это библиотеки на основе шаблонов, которые используют только файлы заголовков (с некоторым включенным # встроенным кодом), как и большинство библиотек STL и boost. Возьмите dia_matrix.h например. «Реализация» находится в dia_matrix.inl, который #include в нижней части dia_matrix.h.
Посмотрите на примеры Thrust и CUSP, как использовать эти библиотеки в своем собственном коде. Это должно быть не более чем включение правильных заголовочных файлов и работа с типами данных, которые они предоставляют. Ядра CUDA будут сгенерированы для вас во время компиляции, и вам не нужно беспокоиться об этих деталях.