Вы упомянули, что хотите, чтобы ваша программа была переносимой на USB-накопителе, поэтому предыдущие ответы, в которых предлагались C # и VB.Net, хороши, если на всех машинах, на которых вы будете использовать вашу программу, установлена платформа .Net.
Если вам нужно запустить свою программу в системах без .Net, вам нужно взглянуть на среды программирования, которые могут либо создавать собственные .exe, либо оборачивать сценарии в исполняемый файл. Что из этого подходит, зависит от ваших потребностей и опыта программирования, но я бы посмотрел на Lazarus / Free Pascal , C ++ или Python (с py2exe ).