Та же проблема здесь. Вам лучше подойдет:
var builder = new StringBuilder();
foreach (DataRow row in dataSet.Tables.First().Rows) {
builder.AppendLine(String.Join("\t", row.ItemArray));
}
File.WriteAllText(filePath, builder.ToString());
Это немного компактнее и (возможно) чуть быстрее.