Para uma transformação linear T, deve-se satisfazer:
T.V=a.V ...(1)
onde T é a matriz associada à transformação, V é o autovetor da transformação e ''a'' é um escalar real.
Devemos primeiro encontrar a matriz associada, essa transformação é de R³ --> R³, porque temos três variáveis iniciais:
T.(x,y,z)'=(z-by, x+z,y+x)'
onde ' representa a transposta do vetor, e ''b'' é a constante a calcular. Fazendo a multiplicação de matrizes é fácil notar que a matriz é:
T=(0 -b 1, 1 0 1, 1 1 0)
onde cada grupo de números separados por vírgula representa uma filera da matriz T. Pelo dado do problema: V = (1 1 1)'
Substituindo em (1):
T.V=(0 -b 1, 1 0 1, 1 1 0).(1 1 1)'=(-b+1, 2, 2)' = a.(1 1 1)'
Da última relação, fazemos uma igualdade para cada termo do vetor:
-b+1 = a.1
2=a.1
2=a.1
Assim, foi obtido que a=2 e, portanto:
-b+1=2
Finalmente: b=-1.