В 1172 году, после поражения в битве под Уэте, неподалеку от Куэнки (batalla de Huete, Cuenca), и, в особенности, под воздействием все усиливающейся угрозы со стороны христиан, мусульмане Эльды поспешили принять покровительство соседнего арабского королевства Мурсии, за что получили поддержку в строительстве на берегу реки Виналопо крепости, известной теперь как замок Эльды (Castillo de Elda).
Фортификация справлялась с задачей защиты исламского порядка на территории муниципалитета до 1243 года, когда все же ей пришлось пасть под ударами войск кастильского монарха Альфонсо Х.
Начиная с момента христианского завоевания и, по крайней мере, до начала XV века крепость переживала бурные времена, являясь предметом сделок по купле-продаже и переходя из рук одного хозяина в руки другого.
Археологические раскопки принесли ученым находки, позволяющие утверждать, что в 1308 году на территории замка была построена церковь во славу Святой Марии. Возможно, что этот храм стал первым христианским зданием, возведенным на земле Эльды.
С конца XIII по начало XVI века внешняя зона оборонительных стен использовалась в качестве кладбища.
Экономический кризис XVI века и особенно выдворение мусульман начала XVII века значительно сократили население Эльды, что, в свою очередь, повлияло и на отношение хозяев замка к своей недвижимости: они перебрались в Валенсию и практически бросили свою здешнюю собственность.
Крепость постепенно стала разрушаться, не получая необходимого обслуживания.
В 1841 году находившуюся в полуразвалившемся состоянии фортификацию приобрело государство, после чего ее вначале (1842) собирались демонтировать и использовать освободившийся качественный стройматериал для постройки моста через Виналопо, потом возникли планы перепрофилировать крепость под тюрьму (1844), а затем приспособить под театральную деятельность (1846). Еще два года спустя крепость была выставлена на аукцион и продана.
Мост через Виналопо, в конце концов, был построен в 1879 году. И в укреплении его опор использовался именно отборный камень, который раньше лежал в стенах круглых башен. Последний хозяин замка (1866-1886) Педро Леон Наварро и Видаль (Pedro León Navarro y Vidal), специалист в области строительного дела, долго и терпеливо демонтировал комплекс, снимая аккуратно детали из наиболее ценных материалов (отборный камень, мрамор) и реализовывая их тем, кто желал купить.
Территория замка практически полностью повторяет своими очертаниями вершину холма, на котором находится. Оборонительная стена, опоясывающая пространство крепости, включала в себя 8 квадратной формы сторожевых башен (по четыре с каждой из двух длинных сторон). Еще две башни круглой формы были возведены по бокам от главных ворот. В их задачу входил контроль входа и выхода, а также защита главного пути от неприятеля.
Общая площадь крепостных сооружений, считая оружейный двор, составляет более 5 тысяч квадратных метров.
Боковые башни и крепостные стены возведены в манере тапиаль, характерной для мусульманских фортификаций того времени.
На оружейном дворе до сих пор существуют остатки резервуара для хранения воды – мощного сооружения, также сложенного из больших блоков (тапиаль), к которому была подведена система каналов для наполнения водой.
Главная башня представляет собой сооружение в несколько этажей. Верхняя его часть предназначалась для проживания хозяина замка, в нижней находились погреба, склады, кухни и другие подсобные помещения.
В XV и XVI веках, когда крепость утратила свое военное значение, ее пытались перестроить под использование в качестве резиденции для хозяина замка и его семьи. Об этом свидетельствуют остатки большой печи для приготовления мяса на открытом огне, углубления для размещения осветительных приборов и прочие бытовые детали.
В 1985 году замок Эльды был объявлен объектом, представляющим культурный интерес и находящимся под государственным патронатом.
