I 1984 blev kunstafdelingen løsrevet fra Horsens Museum, og Horsens Kunstmuseum blev grundlagt som en selvstændig enhed. I den forbindelse formulerede Horsens Kommunes Kulturudvalg i samarbejde med den dengang nyansatte museumschef Claus Hagedorn-Olsen følgende indsamlingspolitik for museet:

“Horsens Kunstmuseums ansvarsområde er dansk billedkunst efter 1800 med hovedvægt på perioden efter 1900.
For så vidt angår tiden før ca. 1980 er ansvarsområdet primært allerede repræsenterede kunstnere.
Efter ca. 1980 er ansvarsområdet primært nutidig eksperimenterende kunst. Perioden efter 1980 anses for den primære.
Museets ansvarsområde kommer også i anvendelse i forhold til museets skulpturpark i Caroline Amalie Lunden. Horsens Kunstmuseums Mogens Zieler-samling anses i hovedsagen at være en afsluttet del af samlingen.