Чтобы отфильтровать только определенные типы файлов, используйте свойство Filter
OpenFileDialog1.Filter = "Image Files (JPG,PNG,GIF)|*.JPG;*.PNG;*.GIF";
Чтобы получить расширение файла, используйте помощник Path GetFileExtension
if (OpenFileDialog1.ShowDialog() == DialogResult.OK)
string ext = Path.GetExtension(OpenFileDialog1.FileName);