Какой кодек вы собираетесь использовать? Для наименьшего размера используйте h.264. Я не знаю, поддерживает ли ffmpeg это, но если вы хотите сохранить как можно больше качества при уменьшении размера, это лучший вариант, который у вас есть.
Обратите внимание, что сложно придумать предустановку, которая будет работать лучше всего для всех видов исходного материала. Было бы полезно, если бы вы обновили вопрос, добавив некоторую информацию в исходный материал, возможно, в типичном случае.