La punta rocosa sobre la que se asienta el castillo, el Morro del Castell, cierra la cala de la Granadella por el sur.