Внутренний и средний дворы также разделяет ров, через который проходил наклонный подъемный мост.

Стена внутреннего двора не имела себе равных по конструкции. По сути она представляет собой сливающиеся круглые башни, расстояние между осями которых около 10 м. По верху шла платформа с машикулями, при этом платформа имела с внешней стороны такую форму, что отскакивающие метательные снаряды должны были по задумке создателей падать к основанию башни на головы штурмующих. Стена не должна была иметь не простреливаемых участков, но осада 1204 г. показала, что один момент строители упустили - мертвая зона во рву возле моста.

Во внутреннем дворе располагались донжон и жилой дом.

Донжон занимал верхнюю точку замка Он имел круглую форму, основание было коническим, а верхняя часть слегка расширялась кверху, что должно было исключить существование мертвых зон. Со стороны обрыва стена была гладкой, а со стороны двора в верхней части усилена прямоугольными ребрами. По верху шла галерея. Толщина стен у основания - 4 м.

На дальнем конце двора находилась небольшая калитка.

От стены замка вниз уходила стена, соединяющая его с Голубиной башней, из которой просматривался склон со стороны реки. От этой башни стена шла дальше к Сене и перекрывающему ее палисаду.

Какова же история замка? В 1195 г. англичане проиграли Филиппу II Августу битву при Вандоме и утратили по мирному договору, заключенному в Иссудуне, важный замок Жизор.

В 1196 г. Ричард Львиное Сердце начал строительство замка для защиты дороги на Руан, открытой после утраты Жизора Лез-Андели принадлежал архиепископу Руана и был попросту конфискован английской короной. В ответ архиепископ наложил на

Нормандию интердикт, который был отменен после получения им компенсации в виде других владений.

В 1198 г. основные работы были закончены. Замок строился спешно и с большим размахом Только за эти три года на его строительство было выделено 1500 фунтов, что позволило нанять огромное количество ремесленников. Кроме собственно самого замка был сооружен целый комплекс, включавший укрепления городка Лез-Андели, несколько мотте в округе, форт на острове посреди Сены, укрепление на другом берегу реки и палисад из свай, перегораживавший Сену.

В 1199 г., после смерти Ричарда, новый король, Иоанн, в 1200 г. заключил с Филиппом-Августом новый договор, который был нарушен уже в 1202 г., что привело к войне. За три года новый король продолжил работы по развитию замка, в частности была построена капелла в среднем дворе. Капелла имела относительно большие окна, что сыграло свою роль спустя два года.

10 августа 1203 г. Филипп с 6-тысячной армией подошел к городу. Ночью отряд пловцов разрушил палисад, перекрывающий реку, и захватил форт на острове, сразу после этого был занят и город, большая часть окрестного населения бежала в замок (а вернее была сознательно загнана туда). Попытка ответной атаки, предпринятая графом Пемброком, провалилась. Французы подступили к замку и приступили к осаде. По приказу Филиппа со стороны пологого склона было возведено два ряда контрвалов.