Hola;

Haz la siguiente prueba:
1. Cambia las cables de step/Dir del eje X al eje Y y viceversa. Manda ha hacer un circulo de 80.0 mm de diametro con tu código G. Si ahora resulta que es 100 mm en el eje Y y 80 mm en el eje X eso indica que no es un problema con la parte mecánica. De lo contrario busca el problema mecanico (no conozco tu maquina pero puede ser el "leadscrew" del eje X que no tenga el paso que tu crees).
2. Si el problema no es mecánico cerciorate de que ambos "drives" (controladores) tienen configurado el mismo modo de micro-step (Full step, half step, 1/4, 1/8, 1/10, etc) este defecto puede suceder si, por ejemplo, el eje Y tiene 1/10 y el X tiene configurado 1/8 y ademas tu has calculado los pasos por pulgada o cm suponiendo que ambos son 1/10. (supongo que ambos motores son iguales)

Saludos,

kreutz