Olá, Jeniffer! Tudo bem?
Sua pergunta tem um problema rsrs, logo aviso. Se você quer saber se a filosofia é elitista, tudo bem. Mas, ser elitista não significa obrigatoriamente ser de gênios ou loucos.
Vou explicar. Se algo for elitista, significa que pertence à elite. A elite de uma sociedade é um conjunto de pessoas com poderes diversos. Alguns desses poderes, que podemos destacar, são o econômico e político.
Veja o exemplo de nossa sociedade. É comum chamarmos alguém rico de elite. E é comum chamarmos um projeto político ou um shopping caro de elitista, isto é, voltado apenas para tal elite - tal parcela da população com determinado tipo de poder.
Os gênios e os loucos não são, necessariamente, de uma elite ou de outra, nem em nossa sociedade, nem em qualquer humana.
Em todo caso, a filosofia é uma prática livre para todo mundo. Você, seus conhecidos e pessoas estranhas praticam filosofia. Isto é, questionam a realidade e as coisas da realidade a fim de encontrar alguma verdade cabível, compreensível e aceitável.
Claro que há tipos de filosofias dogmáticas, ordenadas, que são praticadas por pessoas de "elite". Mas, qualquer um pode praticar qualquer tipo de filosofia. Afinal, alguém já a proibiu de praticar filosofia, entrando na sua mente e a impedindo?