A resolução pode ser feita aplicando a lei dos cossenos.
Aqui é complicado passar a representação gráfica, mas você pode imaginar F1 como sendo um vetor inclinado para cima e para a direita e o vetor F2 como sendo inclinado para baixo e para a direita, de modo que a força resultante F3 seja na horizontal para a direita e o ângulo entre F1 e F3 seja igual a 30°.
Aplicando a lei dos cossenos para o ângulo conhecido (30°) tem-se :
F2² = F3² + F1² - 2*F3*F1*cos(30)
25 = 25*3 + F1² - 2*5*sqrt(3)*F1*sqrt(3)/2
o que resulta na equação quadrática:
F1² - 15 F1 + 50 = 0
que pode ser resolvida por Baskhara ou fatoração. Fatorando temos:
(F1 - 5) * (F1 - 10) = 0
que tem raízes: F1 = 5 N e F1 = 10 N
Portanto, o módulo de F1 poderá ser igual a 5 N ou 10 N, dependendo da inclinação de F2 (que não é conhecida). Se F2 estiver orientado conforme a representação imaginada, F1 será igual a 5 N. Se F2 estiver orientado com inclinação para baixo e para a esquerda, então F1 será igual a 10 N.
Abraços!