Das Schloß ist an der Bille in einer Parkanlage gelegen, umschlossen von Resten hoher Erdwälle und breiter Burggräben. Es ist die einzige aus dem Mittelalter erhaltene Burg auf dem Gebiet des Stadtstaates Hamburg. Das Schloß geht auf die 1212 erstmals genannte Wasserburg zurück. Unter dem Ostflügel (1589/90) sind Reste des mittelalterlichen Baus erhalten. Der Westflügel entstand 1610, der fachwerkliche Südflügel ein Jahr später. Der Torturm wurde 1897-1901 gestaltet. Innen befindet sich das Landherrenzimmer im Vierländer Heimatstil. Der Schloßgarten wurde Anfang des 20. Jahrhunderts angelegt. Die Innenräume gehören zum Bergedorf Museum, das Objekte städtischer und bäuerlicher Kultur der Region zeigt.