Как правило, вы захотите использовать InvariantCulture, если генерируемая строка должна сохраняться способом, который не зависит от культуры текущего пользователя (например, в реестре или в файле).
Вы захотите использовать CurrentCulture для строк, которые должны быть представлены в пользовательском интерфейсе текущему пользователю (формы, отчеты).
Незначительные ошибки могут возникать, если вы используете CurrentCulture там, где следует использовать InvariantCulture: ошибки, которые обнаруживаются только тогда, когда несколько пользователей с разными культурами имеют доступ к одной записи реестра или файлу, или если пользователь меняет свою культуру по умолчанию. 1005 *
Явное указание CurrentCulture (по умолчанию, если аргумент IFormatProvider опущен) - это, по сути, документация, демонстрирующая, что вы учли вышеизложенное и что генерируемая строка должна использовать культуру текущего пользователя. Вот почему FxCop рекомендует указывать аргумент IFormatProvider.