Olá, Felipe
1) x^2 + y^2 = 6
2) x + y = 4, elevando ao quadrado teremos: x^2 + 2xy + y^2 = 16, não será usada
3) x.y = 5 elevando ao quadrado teremos: [x^2 . y^2] = 25, pois o quadrado do produto de dois número é igual ao produto dos quadrados desses números.
x^-2 + y^-2 = 1/x^2 + 1/y^2 = C, fazendo a soma teremos que: C = [y^2 + x^2 ] / [x^2 . y^2], mas
[x^2 . y^2] = 25 da resolução número 3
[x^2 + y^2 ] = 6 da equação 1, logo
C = [y^2 + x^2 ] / [x^2 . y^2 = 6 / 25
Espero ter ajudado na sua dúvida.
Veja que se você usar fatoração, não vai chegar a lugar nenhum pois temos:
(x+ y)^2=x^2+ 2xy+ y^2=6+ 2.5=16 e já sabíamos que (x+y) era 4 e portanto (x+y)^2 seria 16. Uma forma de resolver é ver que:
(1)x.y = 5 se elevarmos os dois laods aos quadrado teremos:
(2)x^2.y^2=25
E veja que:
x^-2 + y^-2 = 1/x^2 + 1/y^2 = [y^2 + x^2 ] / [x^2 . y^2]
Como já sabiamos que y^2 + x^2 é 6 e por (2) temos que x^2.y^2=25, então:
x^-2 + y^-2=6/25