Poprvé se dovídáme o tomto domě z listiny Ferdinanda Julia hraběte ze Salmu roku 1678.
Jak vysvítá z panského urbáře z následujícího roku, jednalo se o panský šenkhaus vystavěný na místě domků Jana Zajíce a Ambrose Krajčího v ulici Hroby (později Zámecká, nyní Cimburkova).
Tak měli "páni" svůj šenk U tří králů (název doložen až v roce 1863), měšťané Na Pořádce a "uličníci" t.j. obyvatelé předměstí Na Lapači (Lapač žije dodnes a je to velmi pravděpodobně nejstarší hospoda v Tovačově).
Ale vraťme se na Paňák do šedesátých až sedmdesátých let devatenáctého století. Až do té doby scházívali se někteří uvědomělí měšťané a předměšťané, panští úředníci a myslivci, krátce řečeno lepší společnost, na panském domě U tří králů, v kasině či "frajnu" (spolku). Hovořilo se tu německy i česky, noviny však byly pouze německé (jediný deník). Shodli se dobře Češi s Němci, třebas němčina platila jako něco lepšího, byla řečí "pánů". Hostinský na panském domě se jmenoval Rambousek, hausknechtem či podomkem byl veliký a suchý Vaněk, později byl hostinským v Lukové u Roketnice. V témže domě bylo i řeznictví dané do nájmu židovské obci. Nájemců i majitelů se vystřídala v průběhu let řada, od roku 1938 byl majitelem Spořitelní a záloženský spolek, po válce přešlo vlastnictví ze Státní spořitelny na Jednotu Kojetín, v roce 1977 na Jednotu Hranice.
29. června 1992 byl dům převeden do majetku města Tovačova.