Nel 1349 il Castello venne ceduto dal Vescovo di Trento agli Scaligeri, ma una sollevazione popolare scacciò dalla rocca la guarnigione veronese affidandola a Niccolò d’Arco. Costui, abilmente, seppe placare le ire di Cangrande della Scala, succeduto nel frattempo al padre Mastino, ed ebbe la nomina a Capitano non solo di Arco ma anche delle Giudicarie e di Cavedine. Altri assalti si portarono al Castello da parte dei signori di Seiano, dei Lodron e dalle truppe della Serenissima. Il borgo venne preso, ma il Castello in ogni occasione resistette. Il complesso fortificato si ingrandì di molto; ogni ramo della famiglia infatti cercava di avere una residenza dentro il maniero. Venne così la fine del XV; nel 1495 Albrecht Dürer dipinse il Castello di Arco dando al suo acquerello il titolo di "Fenedier Klawsen", chiusa veneziana, non perché la rocca appartenesse a Venezia, ma perché si affacciava su Riva, territorio occupato dalla Serenissima.  Osservando attentamente questo dipinto si è consapevoli che il Castello era in effetti un piccolo villaggio fortificato. Nel Quattrocento e poi nel Cinquecento i conti d’Arco si costruirono più comode residenze attorno alla piazza di Arco ed il Castello cominciò a conoscere il proprio declino. Nel 1542 vi scoppiò un furioso incendio del quale venne inizialmente incolpato Nicolò d’Arco, poeta ed umanista. Per veder riconosciuta la propria innocenza il poeta si recò perfino alla corte imperiale di Praga.
Si stava intanto diffondendo il fenomeno del banditismo. La zona del Sommolago, quale fascia di confine, divenne terreno prescelto dai profughi, dalle schiere dei senza patria; i messi al bando divennero "banditi".  Molti di essi trovarono ospitalità presso il Castello dei d’Arco.