Access будет работать, вам не нужно устанавливать отдельное программное обеспечение, .NET Framework имеет поставщиков данных для Access, вы можете использовать ODBC-провайдера.
Однако рекомендуемое решение от Microsoft для встраиваемых баз данных - SQL CE - проверьте его, вы можете встроить его в свое решение и настроить его установщиком приложения (без отдельной установки). Он также имеет преимущество в том, что он бесплатный.
РЕДАКТИРОВАТЬ: Как отмечено ниже @Joe, для использования Access не требуется лицензия; однако это файловая база данных, которая не так надежна, как SQL CE.