Sim, ambos significam boa noite! No entanto, são usados em contextos diferentes. Confira abaixo a explicação e os exemplos.
GOOD EVENING
Você diz quando está chegando em algum lugar e está cumprimentando as pessoas.
Good evening, Ms. Roberts. How are you?
Boa noite, Sra. Roberts. Como está?
GOOD NIGHT
Você diz quando está indo embora e se despedindo das pessoas ou quando está dizendo aquele boa noite antes de ir dormir.
Good night, dear. Sleep tight.
Boa noite, querida. Durma bem.