Olá João. Antes de responder às suas dúvidas, precisamos saber algumas coisas antes: Vamos lá!
Ponto Crítico: O ponto (a,b) é um ponto crítico da função z = f(x,y) ((a,b) pertencente ao domínio de f) se e somente se fx(a,b) = 0 e fy(a,b) = 0, ou seja, os pontos críticos de z = f(x,y) são os pontos que anulam as derivadas parciais de primeira ordem simultaneamente.
Matriz Hessiana: Seja z = f(x,y) uma função. A matriz H(x,y) de ordem 2 com a11 = fxx(x,y), a12 = fyx(x,y), a21=fxy(x,y) e fyy(x,y) é chamada matriz Hessiana de z = f(x,y).
Vou começar respondendo pelo item (II).
(II) Seja (a,b) um ponto crítico de z = f(x,y). Suponha que z = f(x,y) tenha derivadas parciais de segunda ordem contínuas em algum círculo centrado em (a,b).
(a) Se o determinante de H(a,b) for maior que zero e fxx(a,b) > 0, então f tem um mínimo relativo em (a,b);
(b) Se o determinante de H(a,b) for maior que zero e fxx(a,b) < 0, então f tem um máximo relativo em (a,b);
(c) Se o determinante de H(a,b) for menor que zero, então f tem um ponto de sela em (a,b);
(d) Se o determinante de H(a,b) for igual a zero, o teste é inconclusivo.
Vamos agora para o item (I):
Primeiramente vamos encontrar os pontos críticos de f. Temos fx(x,y) = 6-2x e fy(x,y) = -4-4y. Fazendo essas duas derivadas iguais a zero, ou seja 6-2x=0 e -4-4y=0 obtemos o ponto crítico (3,-1). Agora vamos aplicar o teste da segunda derivada e, para isso temos que calcular as derivadas parciais de segunda ordem e aplicá-las no ponto crítico. Temos fxx(x,y) = -2, fxy(x,y) = 0, fyx(x,y) = 0 e fyy(x,y) = -4. Desse modo fxx(3,-1) = -2, fxy(3,-1) = 0, fyx(3,-1) = 0 e fyy(3,-1) = -4 e a matriz Hessiana possui as entradas a11=-2, a12 = 0, a21 = 0 e a22 = -2. O determinante da matriz Hessiana é 8 que é maior que zero. Logo, pelo teste da segunda derivada para funções de duas variáveis enunciado acima, o ponto (3,-1) é um ponto de máximo relativo de f pois det(H(3,-1)) = 8 e fxx(3,-1)=-2.
Espero ter ajudado. Até mais.