VTK и OSG действительно решают разные проблемы, поэтому то, что вы должны использовать, зависит от того, чего вы пытаетесь достичь! VTK в первую очередь предназначен для научной визуализации, и поэтому больше ориентирован на алгоритмы визуализации данных. Он может иметь некоторую способность работать в режиме графа сцены, но в основном это так, что разные наборы данных могут быть зарегистрированы (наложены) друг на друга. На самом деле он не предназначен для представления произвольных сцен (хотя он может быть включен в него). И вы правы, это не означает, что вы смешиваете вызовы OpenGL с VTK. Опять же, это можно сделать, но это не обязательно просто.
OSG, с другой стороны, является духовным преемником Исполнителя SGI и больше предназначен для произвольных графических сцен. Это очень зависит от метафоры графа сцены, о которой я хотел бы вам прочитать (в википедии есть достойная статья). У меня нет большого опыта с этим (быть больше на научной стороне вещей).
Короче говоря, если вы хотите просматривать изоповерхности объемных данных, визуализаций поля потока или других визуализаций, полученных из научных данных, используйте VTK. Если вы пытаетесь реализовать какой-то виртуальный мир, используйте OSG (или что-то подобное). Если вы пытаетесь сделать что-то еще, дайте нам знать, и, возможно, кто-то может порекомендовать более подходящий инструмент для ваших нужд.