Por lo visto son motores de paso de 8 cables cableados en unipolar (ahí queda en 5).
Lo de los cables del encoder es normal, es bueno saber que es de 5V ya que eso significa que sería más fácil cablearlo para uso en Mach3 (lo ideal es usarlos, aunque de ser absolutamente necesario se podría prescindir de ellos).
De poderse diseñar software se puede, pero sería extremadamente caro (ya que es complejo y requiere conocimientos previos de CNC y g-code en profundidad para funcionar correctamente) y te aseguro que nunca va a ser tan bueno, flexible y con tan buena documentación como el Mach3. Honestamente te sale mucho mejor y más barato reemplazar la controladora y cambiarte a Mach3. Con una controladora de buena calidad como Geckodrive estoy seguro de que la diferencia de rendimiento sería como el día y la noche. Para esto lo mejor sería que alguien te asesorara en persona ya que también habría que ver cómo va cableado lo demás incluyendo el botón de emergencia y límites de fin de carrera (y algo más si es que lo hay).
En el peor de los casos habría que reemplazar los motores (esto seguramente no sea necesario, aunque eventualmente podría ser un buen cambio).
Podrías consultar a Pabro de Peutronics (
Principal) que también es miembro del foro (usuario PEU), no sé si hará este tipo de asesorías ni si estará cerca de donde vives pero no pierdes nada con preguntar.
Saludos