Музей размещается по адресу Волхонка, 12. Датой его основания считается 17(29) августа 1898 года. Именно в этот день на Волхонке, близ Храма Христа Спасителя, состоялась закладка нового, созданного на общественные средства, московского музея. Тогда он именовался − Музей изящных искусств имени императора Александра III.
В древности на его месте были государевы «большие конюшни» — «конюшенный» и «колымажный» дворы. Были времена, когда каменные строения конюшен были приспособлены под тюрьму, которая не раз упоминалась на стрницах истории благодаря своим известным заключенным. Так, зимой 1864 года член студенческого революционного кружка Болеслав Шостакович, дед советского композитора Д. Д. Шостаковича, помог из этой тюрьмы бежать польскому революционеру Ярославу Домбровскому, будущему генералу Парижской Коммуны. Не менее знаменит и заключенный здесь в 1878 году организатор первой Орехово-Зуевской стачки рабочих П. А. Моисеенко.
Однако тюрьма просуществовала здесь недолго. Впоследствии на ее месте устроили площадку для конской верховой езды, а еще позже 17 августа 1898 года на этом месте по инициативе профессора И. В. Цветаева, отца великой поэтессы Марины Цветаевой, началось строительство Музея изящных искусств Московского университета. Благодаря авторитету и энергии этого человека в создании музея участвовали не только русские ученые и художники, но и крупные авторитеты Германии, Англии, Италии, Греции. Новый музей был задуман в первую очередь как университетский учебный центр. С этой целью организаторами были приобретены гипсовые воспроизведения (слепки) античных скульптур, специально выполненные в крупнейших музеях Европы, а также богатейшее собрание египетского искусства (около 6000 предметов), принадлежавшее петербургскому востоковеду В. С. Голенищеву. На разных этапах в создании музея участвовали такие художественные величины, как В. М. Васнецов, В. Д. Поленков, И. Э. Грабарь, К. А. Коровин, архитектор Ф. О. Шехтель и многие другие.
Автор проекта музея был архитектор Р. И. Клейн. В 1859 году в память основателя и строителя музея у главного входа были установлены мемориальные доски, выполненные скульптором И. А. Касьяненко. Надо сказать, что финансировалось строительство музея не властями страны, а гражданами — Мамонтовым, Шехтелем, Юсуповыми и другими влиятельными людьми в Москве. Всего в комитет для организации музея входило 40 человек. Два миллиона рублей из трех дал владелец стекольных заводов в Гусь-Хрустальном Ю. С. Нечаев-Мальцов. При этом, построенное при участии И. И. Рерберга и В.Г. Шухова, здание признано лучшим специально построенным музеем России, соответствующим собранной коллекции.
Открытие музея состоялось 31 мая 1912 года. 1 мая 1920 года музей посетил В. И. Ленин и осматривал выставку эскизов памятника Освобожденному Труду. При музее — крупнейшем в Европе хранилище факсимильных слепков с лучших памятников искусства древнего Востока и классической Греции и Италии — после Великой Октябрьской социалистической революции была создана прекрасная картинная галерея западных мастеров живописи.
Облик картинной галереи музея окончательно определился в 1948 году. Галерея получила собрания С. М. Третьякова, Юсупова, Шуваловых, Г. А. Брокара и других коллекционеров. Во многом обогатили коллекцию Музея И. А. Морозов и Д.И. Щукин. Галерея получила картины нидерландских и немецких мастеров, фламандских и испанских живописцев XVII века, итальянских художников XIII-XVII столетий, французских авторов XIX века: картины Э. Мане, К. Моне, Ренуара, Дега, Писсарро, Сислея, Сезанна, Ван Гога, Гогена, Матисса, Марке, Руо, Пикассо и других. Большое значение для формирования картинной галереи имели поступления из Государственного Эрмитажа. Оттуда «пришли» в Москву работы крупнейших европейских живописцев − Боттичелли, Рембрандта, ван Дейка, Рубенса, Пуссена, Мурильо, Каналетто. В 1949-1953гг. экспозицию свернули вовсе — ради «Выставки подарков И. В. Сталину от народов СССР и зарубежных стран». Но с тех пор музей используется лишь по прямому назначению.
Смена власти сказалась и на названии самого музея. Имя Пушкина он носит с 1932 года. Изменилась и концепция экспозиции музея. Оформление залов на сегодняшний день отражает различные этапы истории мировой культуры. Воображение входящего обычно поражают военные статуи Итальянского дворика — на самом деле копии дворика флорентийского дворца Барджелло, а также архитектурные и скульптурные ансамбли Греческого дворика, парадный зал греко-римской базилики. Если при открытии музей располагал 9 тысячами экспонатов, то сейчас его коллекция увеличилась более чем в 60 раз.
Сегодня Пушкинский музей, занимающий четыре здания: Главное здание, построенное по проекту московского архитектора Р. И. Клейна, здание Музея личных коллекций, Галереи искусства стран Европы и Америки XIX-ХХ веков и Детского центра «Мусейон», − уступает по собранию зарубежного искусства с древних времен до XX века лишь четырем мировым гигантам — Британскому музею, Лувру, петербургскому Эрмитажу и нью-йоркскому «Метрополитену». На правах отделов ГМИИ существуют также Учебный музей имени И. В. Цветаева и Мемориальная квартира Святослава Рихтера.