Adosado a la muralla intramuros, junto al conocido actualmente como arco del carmen, y sobre el anterior solar de la iglesia románica de San Silvestre, se fundó en el S.XV el monasterio del Carmen Calzado.
En 1670 el prior se dirige al rey para solicitar permiso de construcción de una espadaña en la muralla en relación con el monasterio, ya que las malas condiciones del convento hacían peligrar cualquier construcción que sobre él se introdujese. Carlos II concederá el privilegio, erigiéndose una esbelta espadaña desde el adarve de la muralla.
Durante la Guerra de Independencia será destruido. Tras su reconstrucción prestó distintas funciones, como Prisión Provincial a partir dela Guerra Civil. Tras su rehabilitación, actualmente alberga el Archivo Histórico Provincial.