В имении побывали такие известные личности, как А. С. Пушкин, П.И. Сумароков, А. С. Грибоедов, В. А. Жуковский и А. Б. Мицкевич.
В 1853 году князь Гагарин вступил в брак с молодой грузинской девушкой Анастасией. Однако долго прожить вместе им не удалось, 1857 году князь Гагарин скончался и имение перешло его второй жене. Спустя почти 50 лет, в семидесятилетнем возрасте княжна Анастасия начала стоительство нового дворца в память о погибшем муже.
Строительство шло быстрыми темпами, и за 5 лет он был готов. Материалы для строительства завозились из Италии, России, Германии и Франции. Кроме дворца неподалеку была построена больница, в которой бесплатно принимал местных жителей доктор.
В 1907 году, по завершению строительства дворца, княгиня Анастасия Гагарина скончалась, она похоронена во дворике домовой Александро-Невской церкви.
