Нет, вы не можете ссылаться на библиотеки из вашего ядра OpenCL.
Тем не менее, OpenCL абсолютно превосходен в работе с изображениями, поэтому вполне вероятно, что кое-что из того, что вам нужно от OpenCV, уже было реализовано кем-то, использующим CL.Возможно, если вы уточните, что именно вам нужно от OpenCV, какой-нибудь хакер может указать вам на реализацию, которую вы можете включить в свою программу.