То был типичнейший образец личной войны, так; часто встречающийся во времена «благородного» Средневековья. В скором времени мелочная возня отодвинулась на второй план: в 1337 г. началась Столетняя война. В первые ее десятилетия судьба была более благосклонна к англичанам В Креси в 1356 г. весь изысканный цвет французской знати был истреблен английскими лучниками. В Пуатье король Жан Добрый взят в плен.
В 1368 г. Мане де Кастельно, единственная наследница семьи, вышла замуж за Номпара де Комона; в данном случае идет речь о событии, сыгравшем решающую роль для Кастельно: семейство Ко-мон будут владельцами замка вплоть до начала революции. За верную службу английской короне король Англии Генрих IV назначил Номпара де Комона свом сенешалем (представителем судебной и финансовой местной власти) в Агенезии. В 1442 г., утомленный английским господством над Кастельно, король Франции отдал приказ об осаде замка. После трех недель осады английский капитан капитулировал, отдав ключи от замка в обмен на жизнь и кошелек с 400 экю. Англичане были окончательно изгнаны из Кастельно. Они покинули французские земли после сражения при Кастильоне (1452 г.), ознаменовавшего окончание Столетней войны.
После черной эпохи войн, эпидемий и несчастий во владения Кастельно вновь пришло затишье. Для замка наступил долгий период расцвета и благосостояния. Восстановление замка, организованное
Брандели де Комоном, было продолжено его сыном Франсуа и внуком Карлом Старинная крепость XIII в. начала понемногу соответствовать моде того времени. Помимо улучшений самого Кастельно, Франсуа де Комон занялся строительством уютного поместья в стиле ренессанс Так, неподалеку от крепости возник новый замок Миланд.
В эти годы Кастельно окончательно утратил свое военное значение и стал обычным загородным поместьем. В 1520 г. была достроена еще одна башня, у которой было только одно предназначение - символизировать власть помещиков над землями. Следующую главу в истории Кастельно открыл гугенотский полководец Жофруа де Виван. Этот человек, славившийся своей силой и отвагой, был товарищем будущего правителя Генриха IV; бесконечные налеты, которые придавали ритм его жизни, обеспечили ему прочную репутацию в стране. «Жоффруа воинственный» внушал страх по всей территории Перигора; эта репутация позволила замку Кастельно быть надежно укрепленным и никогда не быть потревоженным в течение всего периода религиозных войн. В период между подвигами полководца Вивана и XX столетием замок больше не будет знать каких-либо значительных событий. Владельцы Кастельно предпочли ему сначала более уютный и обособленный замок Миланд, а затем свой собственный замок де ля Форс, что возле Бержерака.
Естественно, состояние заброшенного замка постоянно ухудшалось, и наконец Кастельно был окончательно заброшен. После Великой Французской революции его разрушение ускорилось, так что замок стал больше напоминать обычную каменоломню.
Лишь в 1966 г. замок Кастельно был отнесен к памятникам истории. С тех пор было проведено две значительные кампании по его реставрации: с 1974 г. по 1980-й и с 1996 г. по 1998-й. Некоторые обрушенные стены были восстановлены, другие только укреплены из-за того, что не нашлось никаких упоминаний об их первоначальном состоянии.