Recostada a más de 650 m sobre la falda de la Sierra de San Bernabé, la localidad muestra al visitante la arquitectura típicamente popular de esta región serrana, con calles angostas y tranquilas; casas entramadas de varias alturas, con voladizos y rematadas con solanas en el último nivel (que servía de secadero de pimientos e higos). Los terrenos de su término municipal se combinan con numerosas hectáreas de cerezos, en bancales que descienden de manera ordenada y escalonada, salpicados de higueras, viñedos y olivares hasta alcanzar la margen izquierda del río Jerte.
De su patrimonio, destacar la iglesia de San Juan Bautista (S. XVI), la ermita barroca de carácter popular (S. XVIII) consagrada al Cristo Humilladero y también en su término municipal, en la cima de los Riscos de Villavieja, encontraremos un Castro Celta Vetón: Citania, que conserva la muralla y varias puertas.
Nos encontramos en el parque "El Arroyo", junto a la Fuente del Santo, al frescor de la corriente de agua que le da nombre y que nace en la Fuente de las Escobachas, entorno de castaños centenarios en la ladera de la Sierra de San Bernabé. Este pequeño arroyo seguirá su curso hasta desembocar en el Arroyo de Barbajones.
El castaño (Castanea Sativa) es una especie extendida por toda la península ibérica por los romanos, al ser para ellos una fuente de alimento tanto para la población como para sus tropas. La Sierra de San Bernabé se caracterizaba hasta el siglo VIII, por una gran masa de castaños, este gran bosque fue desapareciendo paulatinamente por la acción de "la tinta", enfermedad causada por un hongo que ataca a las raíces, secando hojas, ramas y frutos y posteriormente agrietando el tronco por donde supura un líquido negro que da nombre a la enfermedad.
La desaparición del castaño permitió la colonización de estas sierras por el cultivo del cerezo (Prunus cerasus) y por el roble (Quercus pyrenaica), árbol con gran capacidad de conservación del suelo, ya que evita la erosión de las laderas.
Lo que hoy son ruinas perdidas entre zarzas y matorrales, fue en su día un pueblo nacido del asentamiento como lugar de caza de osos y lobos encaramado en la ladera, fundado en tiempos de la Reconquista, cuando el Rey Alfonso VIII ganó estas tierras a los musulmanes, pasando entonces a depender de Plasencia.
La localidad de Casas del Castañar tiene su origen en los secaderos de castañas de los vecinos de Asperilla (S. XII), que dedicados a la explotación silvícola de estos montes, iban levantando en el amplio y tupido bosque de robles y castaños de la ladera, como así lo atestigua el libro de montería del Rey Alfonso XI.
De modo que lo que fue un éxodo provisional y paulatino del poblado de Asperilla, unido a las sucesivas pestes y el paludismo, terminó por vaciar el pueblo original y convertirse, tras unos 300 años de coexistencia, en el pueblo donde nos encontramos.