Hola,
Evidentemente es un problema de ruido que se mete por los cables, la fuente mas probable es el VFD, pero si esto te ocurre con el VFD apagado mientras haces mover los ejes tambien puede que sean los motores PAP. La manera correcta de utilizar el cable mallado es que conectes la malla a tierra en el extremo de tu controladora, el otro extremo de la malla (el del lado del switch) no se conecta a nada, un error tipico es conectar dicho extremo otra vez a la estructura de la maquina. Hablando de la estructura, esta debe estar conectada a tierra pero utiliza otro cable. El VFD si es chino como decis, lo mas probable es que no tenga filtro EMI / RFI incorporado, podes comprar uno acorde a la potencia del VFD y colocarlo, es de gran utilidad para bloquear los ruidos provocados por el VFD. Lo ideal es que todos los cables sean mallados, no solo lo de los limites/home, tambien motores y VFD a husillo, siempre conectado solo un extremo de la malla a tierra. Dentro de tu tablero es importante que este lo mas alejado posible el VFD de la interface, y evita que se entrecrucen los cables de potencia con los de control. Claro que todo esto es valido si tenes una buena tierra (jabalina correctamente instalada y probada de que es efectiva dicha descarga a tierra).
En cuanto a las conexiones, tambien puede estar metiendose ruido por tu cable USB, yo tengo una controladora por USB y me hizo renegar bastante, la solucion fue usar un cable usb mallado, lo mas corto posible y que la compu este ubicada lo mas cercano posible a la interface (que el cable usb no atraviese por encima de los cables del VFD, motores, etc..). La PC debe estar conectada a tierra tambien, y en general el negativo del puerto USB y de todos los puertos es comun con el chasis de la PC, o sea la tierra.
Espero poder ayudarte de alguna manera.
Saludos