Матрицы работают с изображением и не различают его текст или форму.Если позиция текста не имеет значения, вы можете сбросить e.Graphics.Transform
Matrix oldMAtrix = e.Graphics.Transform;
e.Graphics.Transform = m;
e.Graphics.DrawEllipse(new Pen(Color.Black), 20, 20, 20, 20);
e.Graphics.Transform = oldMAtrix;
e.Graphics.DrawString("text", this.Font, SystemBrushes.ControlText, 10, 10);