Проблема была в порядке вершин.
Как сказал Аллан, в Box2D вершины должны располагаться по часовой стрелке, поэтому похоже, что (1,2), (1,1), (-9,1)
в правильном порядке.
Однако, поскольку координата y перевернута, этот порядок фактически находится в CCW.
Следовательно, порядок следует изменить следующим образом.
polyDef.vertexCount = 3;
polyDef.vertices[0].Set( 1, 2);
polyDef.vertices[1].Set(-9, 1);
polyDef.vertices[2].Set(1, 1);
body.CreateShape(polyDef);