Какой результат вы хотите? Если вам нужны все целые числа в одном векторе, вы можете сделать что-то вроде:
std::ifstream input("input.txt");
std::vector<int> data(std::istream_iterator<int>(input),
std::istream_iterator<int>());
Это исключает линейную структуру - в итоге вы получаете все данные вместе. Один простой способ сохранить исходную структуру строки - это прочитать строку с помощью getline, инициализировать поток строки с этой строкой, а затем поместить значения из этого потока строки в вектор (и поместить его в конец вектора векторов типа int).
std::vector<std::vector<int> > data;
std::vector<int> temp;
std::string t;
while (std::getline(input, t)) {
std::istringstream in(t);
std::copy(std::istream_iterator<int>(in),
std::istream_iterator<int>(),
std::back_inserter(temp);
data.push_back(temp);
}