Есть различия между Linq в VB .NET и C #.Если вы хотите, чтобы тип возврата для оператора Linq в VB .NET был IEnumerable (Of IGrouping (Of Char, String)), напишите оператор Linq следующим образом:
Dim rowList As IEnumerable(Of IGrouping(Of Char, String)) =
(From r In rows From s In squares Where s.StartsWith(r)).GroupBy(Of Char, String)(Function(rowsquare) rowsquare.r, Function(rowsquare1) rowsquare1.s)
Таким образом, вы имеете дело сGroupedEnumerable, а не Enumerable of Enumerable.