L’inizio del XVIII secolo segna il totale declino del Castello. Come si è detto in precedenza, nell’ambito della guerra di successione spagnola, l’armata francese guidata dal generale Vendome penetrò nel Basso Sarca, strinse d’assedio Arco, conquistò la città, bombardò il Castello la cui guarnigione si arrese; era il 15 agosto 1703. La storia dice che, dopo la mancata conquista di Trento, le truppe francesi incendiarono e minarono buona parte dei castelli del basso Trentino. Ma un inventario del Castello di Arco, risalente al 1727 (24 anni dopo Vendome!), testimonia che molte delle torri e degli edifici avevano ancora il tetto  ed i pavimenti in quadrelli. Un velo di oblio scese sul Castello di Arco che divenne meta di povera gente alla ricerca di una trave, di alcuni coppi, di una pietra ben squadrata. I conti d’Arco intanto si erano divisi in vari rami; vivevano in Arco, a Mantova e in Baviera. Nel dicembre del 1862 il governo austriaco emanò una legge sul passaggio dei beni feudali in beni allodiali; il Castello, diroccato, era proprietà in parti eguali dei due rami, quello di Monaco e quello di Mantova.
Nel 1879 il geometra Giuseppe Caproni, padre del pioniere dell’aeronautica Gianni Caproni, stese un progetto per interventi minimali di restauro al Castello per renderlo visitabile da parte degli ospiti del Curort. Altri lavori furono svolti ad inizio secolo per evitare soprattutto cadute di sassi sulle case sottostanti. Dopo il Primo Conflitto Mondiale la parte del Castello appartenente al ramo germanico dei conti d’Arco venne incamerata dal demanio italiano che la assegnò inizialmente all’Opera Nazionale Combattenti. Nel 1927 la contessa Giovanna d’Arco, marchesa di Bagno, lo acquistò diventando l’unica proprietaria. Nel 1982 l’atto finale: il Comune di Arco decide l’acquisto del Castello e di altri beni dalla Fondazione d’Arco in Mantova, erede della contessa Giovanna d’Arco. Il Castello tornava, dopo otto secoli, agli "uomini liberi" della Pieve di Arco.
Nel 1986 il Servizio Beni Culturali della Provincia Autonoma di Trento avviava radicali lavori di restauro.