Queda de FPS brusca jogando online.

Olá.
Venho tendo problemas nas corridas online.

Normalmente meu pc roda 200fps, porém quando algum jogador se conecta no meio da corrida
meu fps cai para 80. Jogo a 165hz, então o jogo fica injogável quando isso acontece.
É padrão, ele só volta ao normal depois que esse jogador desconecta da partida.

Já teintei formatar o pc, reinstalar o jogo, atualizar drivers, mudar cfgs e nada.
Ex: Estou com 150fps, um jogador conecta cai pra 120, outro conecta cai pra 100, outro conecta cai pra 80, e vai até travar o jogo.

Jogo torneios online, alguém consegue me ajudar a resolver isso?

Valeu!