Základy zámku pocházejí z roku 1120, kdy na tomto místě stál jeden z největších benediktinských klášterů ve střední Evropě. Zakladatelem tohoto kláštera byl opat jménem “Vilém” a podle jeho jména dostaly “Vilémov” i zámek svůj název. Mniši, kteří bydleli v klášteře, jsou známí hlavně tím, že pojídali ryby a žáby. Zbytky klášterních budov jsou vidět v základech zámku a v zemi zámecké zahrady.

Později byla tato pevnost přestavěna na renesanční zámek. Roku 1684 byl Vilémov koupen hrabětem Caretto de Millesimo, markýzem ze Savony.

Roku 1852 rodina Caretto de Millesimo vymřela a zámek i majetek připadly nejbližšímu pokrevnímu příbuznému Francisi Václavu baronu Reiskému de Dubnic. Od této doby je zámek v rukou baronů Reiských de Dubnic. Během druhé světové války padl zámek do rukou nacistů a rodina byla vyhnána.

V roce 1948 byl zámek zkonfiskován komunistickým režimem a sloužil k různým účelům, mimo jiné jako chlapecká internátní škola. Všechna umělecká díla a další rodinná bohatství byla během komunistického režimu odvezena nebo rozkradena. V roce 1991, kdy byl zámek navrácen rodině Reiských de Dubnic, byla budova naprosto prázdná a zdevastovaná.

Poté, co se Prof. Dr.Vladimir Reisky de Dubnic vrátil domů z Ameriky - v posledních deseti letech svého života, na sebe vzal úkol zrestaurování zámku i celého pozemku . Obnova je dnes již dokončena a zámek Vilémov se stal ideálním místem pro konference, oslavy a jiné zajímavé události.