Das Schloss wurde unter Lorenz (II.) Tucher zwischen 1533 und 1544 erbaut. Wahrscheinlich geht der Bauplan auf Paulus Beheim zurück, der ihn in Anlehnung an französische Renaissanceschlösser entworfen hatte. Das Gebäude ist ein dreigeschossiger Bau aus Sandsteinquadern mit zur Gasse geschlossener Front. Im ersten Geschoss befindet sich zur Gasse hin ein kleiner Chor mit einer Sandsteinbrüstung, an der der ein Relief des Sündenfalls angebracht ist. Der Eingang von der Hofseite weist zwei Bögen mit einer toskanischen Säule in der Mitte auf. Im Erdgeschoss befindet sich eine Halle mit einem spätgotischen Netzrippengewölbe.
Im Zweiten Weltkrieg wurde die Anlage 1945 stark zerstört. Vom Hauptbau blieben lediglich die westliche Hoffassade bis zum zweiten Obergeschoss mit großen Teilen des Treppenturms, die Straßenfassade mit dem Sandsteinchörlein sowie die Erdgeschossgewölbe weitgehend erhalten. Dagegen waren die Nebengebäude fast völlig zerstört. Der Wiederaufbau erfolgte 1967-69, dabei wurden die Nebengebäude in etwas veränderter Form wiedererrichtet.
