Я на 99% уверен, что ваша проблема вызвана висячими ссылками COM, мешающими завершению процесса Excel. Excel особенно склонен к этому, поскольку он имеет тенденцию прозрачно генерировать ссылки COM, не давая вам средств, чтобы получить их ручки и явно отключить их.
PIA усугубляют эту проблему, создавая собственный набор ссылок на базовые COM-объекты, которые они не очищают, если вы явно не заставите их это сделать. Именно поэтому работа с Excel через PIA довольно сложна.
Application.Quit()
(IIRC это так и называется) остановит процесс, если все ссылки правильно очищены. Это означает, что вы должны тщательно управлять жизненным циклом всего, что содержит ссылки COM на процесс Excel, и убедиться, что все ссылки COM очищены должным образом.