Попробуйте Convert.ToString, например так:
Console.WriteLine(Convert.ToString(1, 2));
Console.WriteLine(Convert.ToString(2, 2));
Console.WriteLine(Convert.ToString(3, 2));
Console.WriteLine(Convert.ToString(4, 2));
Console.WriteLine(Convert.ToString(10, 2));
Второй параметр - это база, используемая для преобразования числа (в данном случае, базы 2).