Вам нужно экранировать кавычки внутри вашей строки:
int main() {
system ("start C:\\PROGRA~2\\BEL\\Realterm\\realterm.exe FIRST=1 SENDSTR= \"B0 P3\" ");
}
В c ++ 11 вы также можете использовать строковый литерал R "(...)", если не хотите экранировать символы:
int main() {
system ( R"(start C:\PROGRA~2\BEL\Realterm\realterm.exe FIRST=1 SENDSTR= "B0 P3")" );
}