Постройку первого, истинно феодального замка в начале XIII в. приписывают Готье, сеньору де Валансэ. Затем по брачному контракту замок перешел к семье Шалон-Тоннер; он был реконструирован и увеличен в размерах, его оборонительная система была улучшена. От этого далекого периода сохранился огромный свод

Талейран содержал свое поместье в образцовом состоянии чатый зал Гвардейцев, скрытый под Парадным двором и соединенный подземным переходом с фортификационными постройками с северной и западной сторон замка.

В середине XV в. Валансэ переходит к семье д' Этамп, которая произвела основательные изменения в этом дворянском поместье.

В 1540 г. Жак д' Этамп снес старый феодальный замок и заложил фундамент современного роскошного замка. Имя архитектора неизвестно. Иногда называют имя Филибера Делорма или анжуйца Жана д¹ Эспина, но документов, которые подтверждали бы их авторство, не существует. Покоренный обликом Шамбора, своего «королевского соседа», Жак д' Этамп возводит чудесный центральный павильон - чисто символический донжон, в котором, также как и в Шамборе, пилястры со скульптурными капителями представляют три вертикали классических ордеров. Его корона из ма-шикулей с тонким резным фризом является истинным шедевром Ренессанса. Угловые башни относятся к этому же периоду, также как и корпуса, связывающие их с павильоном; левый корпус украшает прекрасная итальянская галерея.

Работы были продолжены в начале XVII в. Домиником д' Этам-пом, который построил западное крыло, обращенное к парку, и восточное крыло, предназначавшееся для служебных помещений. Наконец, двор был закрыт со стороны долины арочной стеной, связывающей два крыла. Оформление интерьеров было доверено знаменитым художникам, в частности Блезуа Жану Монье, который работал также в Шеверни и в Люксембургском дворце для Марии Медичи.

В середине XVII в. семья д' Этамп переживает тяжелые времена: бесконечные тяжбы, споры о наследстве, семейные неурядицы вынудили их продать поместье семье Шомон де ла Мильер. В 1766 г. его купил землевладелец - генерал Шарль Лежандр де Вильморьен, который провел реконструкцию старых зданий и осуществил целую серию новых строительных работ: восточное крыло и арочная стена были снесены, с тем чтобы открыть вид на город. Около 1770 г. западное крыло было также переделано в связи с постройкой изящной южной башни со стороны, обращенной к долине.

Сын генерала Лежандра, граф де Люсэ, избежавший гильотины во время Революции, в 1802 г. уступил владение Талейрану. Как-то однажды Наполеон сказал Талейрану, своему министру иностранных дел: «Господин Талейран, я хотел бы, чтобы вы купили эту прекрасную землю с тем, чтобы вы там принимали представителей Дипломатического корпуса, знатных иностранцев, чтобы они стремились попасть к вам и чтобы приглашение к вам служило вознаграждением для послов тех суверенов, которыми я буду доволен...».

Акт продажи совершился в мае 1803 г. на сумму 1 600 000 франков, причем часть суммы уплатил сам Наполеон.

В хронике рассказывается, что «они потратили три дня, проскакав рысцой», чтобы осмотреть свое поместье: не только прекрасный замок, который насчитывал более 100 комнат, 25 господских апартаментов, служебных построек, образующих целую деревню, но также и парк, занимавший 150 гектаров, леса, земли, луга, виноградники, 99 ферм - огромный комплекс, раскинувшийся на