Servidor personalizado Experience PING 170ms

He creado un servidor personalizado de experiencia, pero el ping dentro del servidor es de 170ms y tengo una conexión de 600 megas simétricos, no tengo ningún problema en general de ping, pero a la hora de hacer el servidor si me da ping alto, alguien tiene el mismo problema? o sabe como solucionarlo si tengo que abrir puertos o que?