Enligt nyhetsbyrån AP vill de la Espriella, som tillträdde i augusti, förhindra att kulturella institutioner tas över av ”ateistisk socialkommunism”. De utställningar som tagits bort rörde landets sociala rörelser, bland annat hbtqi-rörelsen, feminism och det politiska våldet.
Aktivister har anklagat regeringen för censur och har protesterat utanför museet i huvudstaden Bogotá.
Kulturminister Paola Holguín säger att hennes departement även ser över utställningar på andra institutioner.
Abelardo de la Espriella är nära allierad med USA:s president Donald Trump.