Colegas de Party não conseguem dar "Pronto" no Xbox

Diversas vezes quando eu e meu colega vamos jogar, eu ou ele convida pra party, e quase sempre alguém não consegue dar "Pronto" pra iniciar a partida. Isso começou a ocorrer pra gente aqui do Xbox One não faz muito tempo, e isso já está começando a incomodar. Alguém sabe como resolver ou se já estão tomando providências?