Это зависит от драйвера, с которым вы работаете.
Если драйвер не зависит от каких-либо различий между двумя версиями ядра, вам не нужно перекомпилировать ядро, просто скомпилируйте драйвер ссоответствующие заголовки ядра.В противном случае вы должны перекомпилировать правильное ядро, чтобы драйвер мог работать правильно.