Несколько способов
a) QueryDosDevice () - проверка по COM в именах
b) GetDefaultCommConfig () - пройти через все возможные серийные имена, например. попробуй получить конфиг для COM1, COM2, ... COMn
в) HKLM / ОБОРУДОВАНИЕ / DEVICEMAP / SERIALCOMM - Перечислить ключи
d) SetupAPI - если бы я помнил, как это использовать, не обращаясь к справочному руководству, я бы не стал человеком
е) ???
Отредактировано: как отметил Питер, кроме перечисления, нет функции, которая может сказать вам, можете ли вы получить доступ к устройству или нет.