Hola pecos, bienvenido al foro. Asumiendo que son 5 mm por vuelta, lo primero es entrar al menú del Mach3 -> Config -> Select Native Units y allí seleccionar la opción de MM's y OK. Esto es debido a que tus tornillos tienen el paso en milímetros, pero esto no te afectará después para que corras un programa bien sea en pulgadas o milímetros. Como tus motores son de 1.8º por paso, entonces tenemos que para 1 mm. el motor debe dar 360/1.8/5 = 40 pasos. Entonces en: Config -> Motor Tuning - Steps per = 40.
Este resultado es suponiendo que tus drivers están configurados para paso completo; si tus drivers soportan medios pasos o micropasos, entonces multiplicas el resultado según como los tengas configurados. Por ejemplo si tus drivers están configurados para medios pasos, entonces multiplicas por 2 ej: 40 x 2 = 80 y pones este resultado en Steps per. Para 1/4 de paso multiplicas por 4, para 1/8 de paso multiplicas por 8 y así sucesivamente.
Los demás valores, dependen de muchos factores y lo mejor para iniciar es que los dejes como están, que luego la práctica te dirá que debes ir ajustando. Si tus tres ejes (o los ejes que tenga tu máquina) tienen el mismo paso en los tornillos debes repetir esta operación para configurarlos uno por uno (X Axis, Y axis, Z Axis etc..). Bueno, cualquier duda nos comentas que aqui entre todos tratamos de solucionarla.

Mucha suerte con tu proyecto!!!