El solar que hoy ocupa debió de ser desde la antigüedad ocupado por una fortificación de importancia ya que la conducción de aguas del acueducto muere en el Alcázar. Sobre una posición fortificada romana, visigoda, árabe y cristiana sucesivamente, edifican los Trastámaras este majestuoso castillo palacio del siglo XV, reformado y ampliado en siglos posteriores con influencias francesas e italianas. De él salió Isabel en 1474 para ser proclamada Reina de Castilla. Carlos III instaló allí el Real Colegio de Artillería, que sería destruido por el incendio de 1862. En 1882 se reconstruyó, convirtiéndose primero en Archivo General Militar, y luego en Academia de Artillería y Museo. Sus prisiones albergaron nobles como Don Álvaro de Luna y otros imaginarios como ‘Don Torcuato’ (de El Delincuente Honrado de Jovellanos).