Olá, bom dia!
Aparentemente o numerador não está ao quadrado, correto? Então a troca de senx por cos²x-1 não é correta, deveria ser por sqrt(cos²x-1) , onde sqrt denota raiz quadrada, sigla em inglês. Isto tornaria teu limite ainda menos simpático.
O que pode ser feito - imagino que seja esta a sua dúvida - é uma espécia de "racionalização", só que sem raízes envolvidas. Multiplicamos o numerador e o denominador por 1+senx. Por quê? Porque assim o numerador será (senx-1)*(senx+1) = (senx)²-1² = sen²x-1 = -cos²x e um dos cossenos irá ser cancelado pelo do denominador. Assim, a função poderá ser reescrita como:
Numerador: senx-1 --> (senx-1)*(senx+1) = sen²x-1 = -cos²x
Denominador xcosx --> xcosx*(senx+1)
Cancelando um cosseno, nosso limite reescrito será
lim_{x-->pi/2} (-cosx)/(x(senx+1)) = 0, pois o numerador se anula em pi/2 e o denominador não se anula.
Espero ter ajudado! Qualquer dúvida, contate-me pelo chat!