Phillips Collection blev grundlagt i kunstkritikeren Duncan Phillips' vision. I 1921 omdannede han sin families palæ til et museum, der i starten kun udstillede 600 private samlinger, men snart åbnede for offentligheden og blev en pioner inden for samling af moderne kunst i USA. Selve museumsbygningen er en kunsthistorie: Hovedbygningen er et palæ i røde mursten bygget i 1897, som senere blev udvidet til tre afdelinger, der ikke kun bevarer den historiske charme, men også inkorporerer moderne design.

Museets samling er centreret omkring europæisk impressionisme og amerikansk moderne kunst fra det 20. århundrede og dækker mesterværker af mestre som Van Gogh, Cézanne, Renoir, Degas, Picasso og Matisse. Som oliemaler har Marjorie Acker, hustru til Duncan Phillips, en dybtgående indflydelse på museets samlings retning, som gradvist har udvidet sig fra impressionisme til moderne kunst. I 2006 etablerede museet Center for Contemporary Art Research for yderligere at fremme dialogen mellem kunst og tiden.

