После смерти Нарышкина в 1834 году дворец был выкуплен у вдовы Нарышкина новым генерал-губернатором графом Михаилом Семеновичем Воронцовым. Дворец использовался как гостевой дом, сам князь и многие члены императорской семьи останавливались здесь на пути к Южному берегу Крыма.
Здание дворца на большое, парадную лестницу украшают два льва. Фасад украшен уникальной росписью в стиле классицизма, которая сохранилась и по сей день. Главный вход в дворец украшен колоннадой из четырех колонн дорического стиля.
Дворец имеет два этажа. На верхнем этаже располагались жилые помещения, гостиная и приемный зал. В цоколе находились подсобные помещения.
Вокруг дворца располагается прекраснейший цветущий сад, основателем которого был известный мастер садовнического искусства П.С. Паллас, который также является автором Никитского ботанического сада и виноградников в Новом Свете. До наших дней также сохранился маленький одноэтажный домик, в котором жил мастер.
В наши дни в Воронцовский дворец принадлежит Таврическому Национальному Университету. В этом здании проводятся приемы почетных гостей университета. Территория сада тоже принадлежит Таврическому университету, тут расположился действующий ботанический сад - один из лучших в Крыму.
