Eu e meu amigo não conseguimos jogar os modos online

Sempre que vamos jogar algum modo online aparece uma mensagem : 

Parece que você perdeu a conexão com o adversário. Inicie a pesquisa novamente. Para mais detalhes….

Somos de PS5 e esse erro só ocorre quando vai jogar eu e ele, por que quando vamos puxar separados e sozinhos online sempre funciona.