Bajones de FPS de 80 a 20

Hola, tengo el siguiente pc

Procesador: i7-4790k

Gráfica: GTX 970 Gigabyte G1

RAM: 16 GB

SO: Windows 10

Juego a resolución 1080, con Directx 12 activado y sin resolución dinámica ni sincronización vertical. He probado todas las configuraciones de gráficos, desde bajo hasta ultra, y siempre tengo bajones bruscos de fps. El juego pasa de ser una maravilla a ser injugable. En la campaña me pasaba al empezar nuevas misiones, sobre todo la de los héroes. La aplicación Geforce Experience me recomienda como configuración óptima la ultra, pero tanto en ultra como en baja tengo fps inestables entre 20 y 80.