Einer Legende nach kehrte Kaiser Maximilian I. öfters auf dem Rottenhof ein, um sich dort während der Jagdpause am guten Wasser zu erfrischen. Man sagt, er habe sogar die Quelle in Marmor fassen lassen.
Nach dem Jahr 1672 muss der Rottenhof deutlich verkleinert worden sein. Heute ist das Hauptgebäude L-förmig.
Um aber wieder zurück in die Vergangenheit zu blicken, ist zu erwähnen, dass dieses schöne Gut eine Vielzahl an Besitzer durchlebt hat. Nach einer Reihe landesfürstlicher Lehenträger erlangte Mang Irnfried 1533 die Lehens- und Dienstbefreiung von König Ferdinand I., der im selben Jahr die Herrschaft Altenmarkt dazu kaufte und den Rottenhof zu deren Verwaltungszentrum machte. Etwa hundert Jahre später erwarben die Hoyos das Haus samt Gut, das in der Folge noch in Besitz der Herberstein, der Offenbach und der Preising ging, 1720 jedoch wieder von den Hoyos zurückerworben wurde. Ab 1790 war der Rottenhof in der Hand der Familie Habsburg-Lothringen.