Densidade da água

Costumo encontrar em livros e sites a informação que, devido ao seu comportamento anômalo entre 0 e 4°C, a água tem seu maior valor de densidade a 4°C. Mas se diminuirmos a temperatura da água (no caso, gelo) para valores abaixo de 0, a densidade não deveria aumentar e, eventualmente, ultrapassar o valor de sua densidade a 4°C? Ou o volume da agua torna-se constante ao atingir o estado sólido em condições normais?