Судьба подарила Кериоле несколько спокойных десятилетий. Лишь во время Второй мировой войны здесь были расквартированы германские солдаты, которые разграбили замок и срубили деревья, устроили на его территории конюшню и стрельбище. А в конце войны в имении размещался военный госпиталь.
В 1948 г. о бретонском замке вдруг вспомнил правнук Зинаиды - князь Феликс Юсупов, вошедший в историю как убийца Григория Распутина. Впрочем, в предреволюционном Санкт-Петербурге он был известен и другими «чудачествами». Так, обладающий внешностью «падшего ангела» Феликс любил бродить в женском платье по улицам северной столицы, прикидываясь проституткой. Говорят, будто Распутина в роковую ночь 18 декабря 1916 г. он сумел завлечь к себе благодаря прелестям не своей жены Ирины, урожденной великой княжны Романовой, как считают официальные историки, а своими собственными. По слухам, Юсупов был ясновидцем и медиумом, увлекался йогой и каббалой. Наконец, известно, что уже в эмиграции за некие таинственные заслуги он был удостоен важного ордена... Обосновавшийся в Париже Феликс решил проверить выполнение условий передачи Кериоле в дар. Назначенные им эксперты обнаружили многочисленные нарушения пунктов дарственной: были срублены деревья, алтарь из часовни передан в местную церковь, а фламандские ковры - в музей соседнего города Кемпера. Были проданы ряд земельных участков и часть мебели, а сам замок периодически сдавался в аренду под различные вечеринки.
Ф. Юсупов немедленно потребовал возвращения Кериоле. В 1951г. он направил соответствуюгцее письмо префекту Фи-нистера и одновременно обратился в суд, выдвинув претензии на компенсацию за нанесение ущерба собственности в 4 миллиона франков. Генеральный совет департамента, которого не смущали ни родовитость, ни таинственные заслуги русского князя, назначил контрэкспертизу, которая констатировала лишь незначительные нарушения. К тому же префект заявил, что часть из них объясняется форс-мажорными обстоятельствами, а другая списана за давностью лет. В результате департаментский суд отверг иск правнука Нарышкиной. В 1954 г. под давлением многочисленных кредиторов и по совету парижских адвокатов Феликс обратился в высшую инстанцию, не подверженную прессингу местных властей, - апелляционный суд города Ренна. Ход оказался верным: новые судьи вынесли окончательное решение в пользу Юсупова.
Теперь Генеральный совет Филистера должен был не только освободить замок и вернуть коллекции, но и выплатить князю компенсацию в размере 25 миллионов франков. Едва вступив во владение желанной собственностью, Феликс принялся от нее поспешно избавляться. Чтобы расплатиться с огромными долгами, он опустошил покои замка, распродавая произведения искусства, мебель и уникальный архив с документами XII-XIX вв. А потом предложил муниципальному совету Конкарно выкупить само поместье.
В 1960 г. Юсупов разбил прилегающие угодья общей площадью 48 гектаров на мелкие участки, уступая их тем, кто больше даст. Кто-то из местных жителей даже подал на князя в суд, чтобы остановить застройку площади вокруг замка в соответствии с французским законом об охране лесов и исторических памятников. Когда же непроданным остался только замок, хозяин вдруг нашел его «уродливым, лишенным стиля и вкуса». Без всякого сожаления он бросил Кериоле на произвол судьбы и возвратился в Париж, где умер в 1967 г., будучи совершенно разорен.