На месте современного дома № 16 стояла усадьба, которая вошла в состав временного, но знаменитого Пречистенского дворца, где жила Екатерина II, приехавшая в Москву на празднование Кючук-Кайнарджийского мира с Турцией. Кремль она не жаловала, и Матвей Казаков построил для нее на Волхонке огромный дворец с использованием трех соседних усадеб: Голицыных, Лопухиных и Долгоруких, как того горячо пожелали их владельцы. Эти усадьбы были объединены галереями в один комплекс с главным деревянным дворцом, где находился тронный зал. В усадьбе Лопухиных появились анфилады и прекрасная парадная лестница, по которой и сейчас можно подняться на второй этаж.
Хотя Казаков и получил за свою работу звание архитектора, дворец получился неудобным — «торжество путаницы», как изволила выразиться императрица. Она долго изучала дорогу в свой кабинет и признавалась, что за всю жизнь не видела такого количества дверей. К тому же здесь было очень холодно, и Екатерина согревала себя и секретарей крепчайшим кофе, от которого те только впадали в бессилие. Тем не менее императрица прожила здесь около года. Загадкой истории остались крытые коридоры, которые тянулись к главному дворцу и к другим особнякам. Полагают, что это были «приватные коридоры», устроенные для тайных свиданий Екатерины и князя Потемкина. Недаром в домовой Рождественской церкви соседнего голицынского особняка на Волхонке, 14, которая стала временным домовым храмом Пречистенского дворца, хранились две иконы, якобы оставленные Екатериной II в память о ее браке с князем Потемкиным. Есть даже версия, что их тайное бракосочетание состоялось именно в этой церкви, а в Пречистенском дворце императрица разрешилась от бремени. Девочку нарекли Темкиной, по обычаю того времени, с урезанной фамилией.
После отъезда Екатерины II в Петербург деревянный дворец был разобран и перенесен на Воробьевы горы. Усадьба же Лопухиных, вероятно, осталась Потемкину. В 1787 году она была продана князю Хилкову, а в 1802-м перешла во владение Варвары Протасовой (урожденной Бахметьевой), вдовы воспитателя великого князя Александра Павловича. Тайный советник Александр Яковлевич Протасов был обязан следить за поведением и нравственностью мальчика, причем остался его воспитателем и после женитьбы наследника. Вступив на престол в 1801 году, Александр на коронации пожаловал своему воспитателю графский титул, «во изъявление признательности Нашей к ревностным его трудам, при воспитании Нас понесенным», но тот не успел его принять, так что титул перешел вдове Варваре Алексеевне. Она немедленно водрузила на фронтоне своей новой усадьбы обретенный герб, свидетельствовавший о высоком статусе владелицы, а к восточному главному фасаду был пристроен великолепный портик с колоннами коринфского ордера.
В 1806 году был приобретен для московской гимназии. После пожара 1812 года он был восстановлен. В 1829 году гимназию посетил путешественник и известный ученый Александр Гумбольдт. Здесь учились многие известные ученые и писатели: историк С. М. Соловьев, писатель А. Н. Островский, физик Н. А. Умов, пианист К. Н. Игумнов, физиолог растений В. И. Палладии, медик В. Ф. Снегирев, большевик-экономист И. Д. Удальцов, писатель И. Г. Эренбург и другие. После Великой Октябрьской социалистической революции здание занимали Лесной институт, Университет трудящихся Китая.
В настоящее время дом № 16 занимает Росагропром. каменные ворота с колоннами.