Я не знаю, самый ли это быстрый способ, но вы можете сделать
int[] a1 = new []{1,2,4,5,0};
int[] a2 = new []{2,4,11,-6,7};
var result = a1.Intersect(a2).Count();
Стоит сравнить это с другими способами, оптимизированными для int, поскольку Intersect () работает с IEnumerable.