Olá.
Eu interpretei que a expressão é essa: f(x,y)=(x²-y)^(1/4).
Se for isso mesmo, o domínio é Dom(f)= {(x,y) E R²/ y<=x²}.
Você precisa apenas determinar onde para que (x,y) a função não tem valor real de f(x,y) correspondente. Nesse caso y>x² teremos uma raiz quarta de um número negativo, o que não resulta em um número real.
Até mais.