То, что вы хотите, это SpecialFolder.Enumeration . и использовать Среда методы
Примерно так Environment.GetFolderPath(Environment.SpecialFolder.Startup)
Для удаления необходимо использовать System.IO.File.Delete (путь)
Чтобы проверить, какие файлы существуют, попробуйте создать консольное приложение и использовать этот код.
Module Module1
Sub Main()
Dim path As String = Environment.GetFolderPath(Environment.SpecialFolder.CommonStartup)
For Each file In System.IO.Directory.GetFiles(path)
Console.WriteLine(file)
Next
Console.ReadLine()
End Sub
Конечный модуль