Museet har siden oprettelsen i 1891 haft til huse i en stor herskabsvilla, i folkemunde kaldet slottet. Villaen er opført i rosenborgstil af bomuldsfabrikant Balthazar Giørtz (1827-91) i 1864 efter tegninger af bygningsinspektør for Nørrejylland og hertugdømmet Slesvig, arkitekt L.A. Winstrup (1815-89). Her residerede byens mægtigste mand med sin familie. Fra villaen var der adgang til den romantisk anlagte have med store træer og snoede stier ned mod Ribe Å samt et ottekantet lysthus i byzantinsk stil.

Da museet overtog ejendommen i 1891, blev der naturligvis foretaget en del ombygninger. Sidenhen fik huset stort set lov til at passe sig selv og oplevede hverken betydelige ændringer eller større vedligeholdelsesarbejder. I begyndelsen af årtusindskiftet var der således et udtalt behov for restaurering af det fine, gamle domicil. Især var der behov for en gennemgribende renovering, der kunne tilgodese nutidens museale krav om blandt andet klimastyring og tilgængelighed. Det var derfor en stor lykke, at A.P. Møller og hustru Chastine Mc-Kinney Møllers Fond til almene Formaal donerede 46,5 mio. kr. til formålet. Tildelingen skete på baggrund af en udførlig ansøgning fra museets ledelse, bilagt materiale fra arkitekt Jørgen Overbys tegnestue. I foråret 2009 gik man i gang og i november 2010  fremstod den gamle herskabsvilla med tilhørende have i sin fordums pragt. Samtidig danner huset en værdig – og tidssvarende – museal ramme om selve samlingen.