Вам не нужен троичный оператор здесь. Попробуйте вместо этого:
CAR: <%= f.check_box :car, :value => 2, :checked => (f.sex == 2) %>
Также ваша проблема связана с тем, что в литерале Hash
вы не можете определять ключи условно, поэтому:
{:a => (:b || :c)}
действительно
{:b ? (a: => :b) : (:a => :c)}
недействительно