Bom dia, Fabio. Para uma funcao de duas variaveis, teremos duas derivadas parciais, certo? Se derivarmos novamente, cada uma vai dar origem a mais duas derivadas parciais, entao teremos 4 no total. Mas destas 4, duas vao ser iguais (as derivadas mistas) de modo que basta achar uma delas.
Vamos la, derivando a funcao em x (aqui eh necessario conhecimento da regra da cadeia, se nao estiver lembrado, sugiro uma pesquisada):
f'x = (y+2xy³)* [1/ (xy+x²y³) ] = (y+2xy³) / (xy+x²y³)
Derivando em y, tambem pela regra da cadeia:
f'y = (x+3x²y²)* 1/(xy+x²y³) = (x+3x²y²) / (xy+x²y³)
Agora vamos pegar o primeiro resultado e derivar novamente, uma em x e outra em y. Nao esquecendo da regra da derivada do quociente.
f''xx = [2y³(xy+x²y³) - (y+2xy³)(y + 2xy³)] / (xy+x²y³)²
f''xy = [ (1 + 6xy²)(xy+x²y³) - (x+3x²y²) (y+2xy³)] / (xy+x²y³)²
E com o segundo resultado basta derivar apenas em y para obter f''yy , pois a derivada mista f''yx eh igual a ja encontrada f''xy.
f''yy = [6x²y (xy+x²y³) - (x+3x²y²)(x + 3x²y²)] / (xy+x²y³)²
Logo, as derivadas parciais de segunda ordem sao:
f''xx = [2y³(xy+x²y³) - (y+2xy³)2] / (xy+x²y³)²
f''yy = [6x²y (xy+x²y³) - (x+3x²y²)2] / (xy+x²y³)²
f''xy = f''yx = [ (1 + 6xy²)(xy+x²y³) - (x+3x²y²) (y+2xy³)] / (xy+x²y³)²
Espero que tenha entendido a resolucao. Perceba que, se quiser, ainda eh possivel desenvolver mais estas expressoes. Nao considero necessario, mas se a resposta do seu livro estiver diferente, pode ser por isso.
Links interessantes: https://www.youtube.com/watch?v=EZkQZdx6t58
http://www.comofaz.com.br/video/como-utilizar-a-regra-da-cadeia-para-derivada
http://pt.wikipedia.org/wiki/Regra_do_quociente
Abraco!