Las casas mas pobres de pescadores y trabajadores de gremios contrastaban con los firmes muros de las torres de la nobleza, fiel ejemplo de ello es la Torre Ercilla. Aunque se supo que hubo torres de más familias, por ejemplo: Apiotza, Areiltza, Aroztegi, Arteaga, Ermendurua, Arreskuenaga, Erkoreka, Latxaga, Muxika o el palacio de los condes de Baños.

El sorprendente mirador de Baztarre, une el puerto viejo con el casco viejo, en la que a pocos metros podremos encontrar un curioso mural que representa la vista del paisaje antes de la construcción de la villa.

Junto con los palacios y torreones de la nobleza, la arquitectura religiosa era la más importante:

• Santa Eufemia, en la zona denominada Gaztelu.
• San Francisco, convento situado fuera de la muralla.
• La desaparecida Santa Maria de la Talaya situada en la parte más alta de la villa y con unas dimensiones que la convertían una de las iglesias más notables de la época. Sufrió varios incendios y tras muchos años en ruina decidieron construir otra de mismo nombre en el centro de la ciudad, donde previamente se situaba el palacio de