Divertir-se e irritar-se

Tenho uma dúvida a respeito dos verbos divertir e irritar quando estão acompanhados de "se". 

A princípio, o verbo divertir é VTD (quem diverte, diverte alguém), de acordo com alguns sites e blogs na internet. Sendo assim, quando falamos "O palhaço divertiu as crianças", podemos ver plenamente o objeto direto. Quando falamos, por exemplo, "Eu me diverti", podemos, através da primeira conclusão, ver que o "me" recebe valor reflexivo. Agora, quando falamos "Eu me diverti com o teatro", apesar de achar que "com" pode ser a preposição (quem se diverte, diverte-se com alguma coisa), também podemos entender que se trata de um adjunto adverbial, podendo, dependendo do contexto, ser adj. adverbial de meio, causa ou instrumento.

Agora, falando do verbo irritar, podemos entendê-lo como VTD, pois "quem irrita, irrita alguém". Sendo assim, quando falamos, por exemplo, "O homem irritou seu amigo", percebemos a aparição do objeto direto. Entretanto, ao trazer para a situação retratada no verbo divertir, há problemas em relação à coerência, por exemplo: "O homem irritou-se"; desde que esteja sendo especificado na frase, uma pessoa não irrita a si mesma, mas sim é irritada, portanto: "Irritou-se o homem" -> voz passiva sintética. Porém, quando usamos outros pronomes, o problema segue: "Eu me irritei"; assim como o primeiro exemplo, desde que não esteja sendo especificado na frase, eu não irrito a mim mesmo, mas sim sou irritado. Todavia, a construção da voz passiva sintética não existe, visto que só esta só pode existir quando há o termo "se". Sendo assim, podemos entender que o verbo irritar-se, quando pronominal, pede preposição "com", mas entramos na mesma quesão passada: o adjunto adverbial de instrumento, causa ou meio. 

Sendo assim, os verbos divertir-se e irritar-se, na gramática, quando com esta forma, pedem a preposição "com" ou têm valor reflexivo?