Тарусская картинная галерея основана в мае 1963 года. В начале 1968 года галерея стала филиалом Калужского областного художественного музея.
Основу существующего музейного собрания составила коллекция русской живописи, произведений фарфора, фаянса, стекла, образцов западноевропейской живописи, а также декоративно-прикладного искусства - дары ученого агронома Н.П. Ракицкого. На создание галереи откликнулся В.А. Ватагин, передавший ряд своих деревянных скульптур, большое количество рисунков, акварелей и автолитографий. Несколько картин поступило из Государственной Третьяковской галереи. Были и иные пополнения, большей частью в связи с активной выставочной деятельностью, которую в течение всего времени своего существования вела Тарусская картинная галерея. В основном, это произведения современного искусства.