Als der Erzbischof 1744 starb, hinterließ er seinem Neffen Laktanz das Schloss, welcher ein großer Kunstkenner und –sammler war. Am Ende besaß er 570 Gemälde, unter denen sich Werke von Rembrandt, Tizian, Rubens und Poussin befanden. Graf Laktanz war außerdem einer der ersten Förderer von Leopold Mozart und seinem Sohn Wolfgang Amadeus.

Mit Ende des Erzbistums Salzburg zu Beginn des 19. Jh. begann allerdings der Ausverkauf des Schlosses, nachdem Laktanz’ Sohn ohne jegliches Kunstverständnis Teile der Sammlung seines Vaters nach Leihgaben nicht mehr zurückerhielt. In den Jahrzehnten danach wechselten häufig die Besitzer des Schlosses, wodurch nahezu alle Kunstgegenstände verschwanden.