Das Graue Schloss, einstige Wasserburg der Herren von Mihla, wurde seit 1536 unter der Ritterfamilie von Harstall zum Renaissanceschloss umgebaut.
Seinen Namen verdankt es dem verwendeten Kalkstein. Im Schlossgebäude befinden sich Wirtschaftsgebäude, die bis in das 17. Jahrhundert zurückreichen.
Das Gebäude beherbergt seit 1971 ein weit bekanntes Restaurant. In drei unterschiedlich gestalteten Gasträumen – der Ritterstube im Erdgeschoss, dem Jägerzimmer und dem Ahnensaal im ersten Stockwerk – werden Gäste bewirtet.
Das Graue Schloss wurde 1998 saniert und es entstanden zudem acht Gästezimmer und eine Hochzeitssuite.