Olá, Eduardo!
Seu racícinio esta correto na maior parte, no caso de não existir x no intervalo o que ocorre é que a função será dita contínua ainda, por vacuidade, pois se não existe x no intervalo é claro que todo x no intervalo satisfaz a propriedade (já que não existe nenhum para que todos satisfaçam só é preciso que nenhum satisfaz). E de fato a definição formal de limites e continuidade diz que o x deve pertencer ao domínio de sua função sempre.
A definição usual para continuidade de uma função f: D → C no ponto c é: Para todo ε > 0 existe δ > 0 tal que, para x ∈ D, se 0 < |x - c| < δ, então |f(x) - f(c)| < ε.
É comum em materiais e livros ser colocado x ∈ D antes da famosa frase dos epsilons e deltas, porém ela é essencial para a definição, pois se x não esta no domínio da função não podemos falar de f(x).
Outra forma de tratar continuidade seria com a definição topológica: f:D → C é contínua se a imagem inversa de aberto é aberto. Não sei se esta familiar com os conceitos de topologia, mas por ela podemos ver mais claramente que aqui se trata sempre de pontos do domínio, pois se A ⊂ C então f-1(A) ⊂ D, ou seja, os únicos pontos que devemos considerar são aqueles do domínio, que é o espaço onde a imagem inversa esta contida.