Фортификация была возведена мусульманами в XII веке на горе Пенья дель Кастильо (Peña del Castillo).
До Реконкисты (середина XIII века) замок выполнял роль центрального ядра поселения. После завоевания Пенагилы войсками Арагонского королевства, несколько раз переходил в руки восстававших арабов, а после погашения восстаний вновь становился собственностью христиан.
В 1356 году в ходе войны между Кастилией и Арагоном крепость выдержала осаду кастильских войск, за что арагонский король Педро IV Церемониальный даровал Пенагиле возможность голосования в Кортесах – законодательном органе страны.
В XVI веке фортификация утратила свое военное значение и с тех пор медленно ветшает. До нашего времени сохранились часть крепостной стены и остатки главной башни замка.