Как предположил Брайан Росс, py2exe - это инструмент командной строки, который можно запустить, как и любой другой, используя ShellCommand.
С другой стороны, было бы целесообразно добавить возможность создания exe-файла с использованием py2exe в вашу систему сборки, а затем вызывать его таким образом из buildbot. Это дает преимущество в том, что разработчики и пользователи могут получить то же поведение, что и buildbot, на своих локальных машинах.