Por lo que dices... entiendo que el desgaste es en el int. de la tuerca, donde ejerce la presion sobre la pinza que a su vez presiona el mango de la herramienta...

Pues yo diria... que lo que esta pasando es que la tuerca-pinza-herramienta... no queda suficientemente apretada, con lo que se produce un deslizamiento (seguramente entre la pinza-tuerca y el alojamiento de la pinza)

Al trabajar la fresa... se produce cierta resistencia al arranque de material, lo que puede hacer que gire dentro de su alojamiento y respecto a la tuerca, esto es el deterioro que dices...

Deberias notar un gran calentamiento en la tuerca, es templada ! (todas las piezas lo son, tuerca-pinza-fresa...)

Puede que no sean totalmente compatibles tuerca-pinza ?

Ya habras probado a apretar adecuadamente supongo...? comprueba que la fresa no gira en la pinza (en parado con una mordaza ! )

Ese anillo o muelle que se ve dentro de la tuerca ?, puede que tenga que ver...

Podrias poner fotos de tu tuerca-pinza-alojamiento...