El primer asentamiento de la comunidad hebrea en Hervás se estima hacia el S. XIV, aunque documentalmente no se recoge ningún testimonio hasta el XV. Estaba constituida por unas 45 familias propietarias de varios edificios, entre ellos una "Casa de la Cofradía" y la Sinagoga. En la actualidad se trata de un conjunto homogéneo de callejuelas estrechas y casas con entramado de madera de castaño y adobe. Se extiende desde La Plaza, lugar de encuentro de cristiano y judíos, hasta el río Ambroz y la Fuente Chiquita. De la herencia judía se conservan los nombres de las calles Sinagoga, Rabilero, Cofradía. Aunque no se mantiene la Sinagoga, la tradición oral la sitúa en la calle Rabilero, 19. Con la promulgación del Edicto de expulsión por los Reyes Católicos en 1.492, muchas familias judías tuvieron que exiliarse hacia tierras portuguesas, otras se avinieron a convertirse al cristianismo, formando la Cofradía en conversa. Los judíos de Hervás se dedicaron principalmente  oficios artesanales como zapateros, curtidores, sastres, lenceros, también hubo escribanos y quienes hacían prestamos al interés.

El Barrio Judío de Hervás fue declarado el 13 de febrero de 1969 Conjunto Histórico Artístico por el Ministerio de Educación y Ciencia, declaración extensiva a la zona en que están ubicadas la iglesia de Santa María y la de San Juan, así como la casa de los Dávila, con sus alrededores inmediatos. Todo ello en base al decreto 308/1969 que dice así: Hervás, villa de la provincia de Cáceres, situada en un atrayente paraje, rodeada de elevadas montañas y regada por los las aguas de tres ríos, asentada a la vera de la famosa "Vía Lata o Camino de la Plata", poseyó en el Medievo importante judería que, debido a su posición favorable al comercio, alcanzó gran preponderancia. Ha conservado, sin apenas deterioros, el casco urbano del llamado Barrio Judío, cuyas estrechas calles y callejas llevan nombres como los del Rabilero o la Sinagoga. Sus empinadas cuestas, con angostos pasadizos, con construcciones de adobes y entramados de madera de castaño, dan a la villa un carácter peculiar y de sorprendente belleza.