Qual a diferença entre good evening e good night?

Sim, ambos significam boa noite! No entanto, são usados em contextos diferentes. Confira abaixo a explicação e os exemplos.

GOOD EVENING

Você diz quando está chegando em algum lugar e está cumprimentando as pessoas.

Good evening, Ms. Roberts. How are you?

Boa noite, Sra. Roberts. Como está?

GOOD NIGHT

Você diz quando está indo embora e se despedindo das pessoas ou quando está dizendo aquele boa noite antes de ir dormir.

Good night, dear. Sleep tight.

Boa noite, querida. Durma bem.