Στην κορυφή της χερσονήσου της Παναγίας δεσπόζει η Ακρόπολη της Καβάλας η οποία κτίστηκε, στο μεγαλύτερο μέρος της, το πρώτο τέταρτο του 15ου αιώνα. Διαδέχτηκε τη βυζαντινή Ακρόπολη της Χριστουπόλεως (παλαιότερη ονομασία της Καβάλας) που είχε καταστραφεί το 1391, ενσωματώνοντας στην κατασκευή τα ερείπιά της. Στο επιβλητικό αυτό κτίσμα είναι εμφανείς οι αλλεπάλληλες ανακατασκευές και επεμβάσεις στην οχύρωσή του από τους Βυζαντινούς, τους Ενετούς και τους Οθωμανούς.

Σήμερα ο επισκέπτης μπορεί να δει:

• Τον κεντρικό κυκλικό πύργο, που αποτελούσε τον ύστατο χώρο άμυνας. Αξίζει να δει κανείς τη μοναδική θέα της πόλης της Καβάλας που προσφέρει η οροφή του.
• Την αποθήκη πυρομαχικών και τροφίμων, που αργότερα μετατράπηκε σε φυλακή.

• Το φυλάκιο, που ήταν χώρος κατάλληλος για καταλύματα αξιωματικών ή φρουράς.
• Τη δεξαμενή νερού.

Ολόκληρη η Ακρόπολη είναι κτισμένη με ακατέργαστες πέτρες τοπικού γρανίτη, ανακατεμένες με κομμάτια από τούβλα και μάρμαρα. Μπαίνοντας από την κεντρική της είσοδο, βλέπουμε ότι χωρίζεται στον εσωτερικό και εξωτερικό περίβολο από ένα εγκάρσιο τείχος. Ο εσωτερικός περίβολος αποτελούσε και το σπουδαιότερο τμήμα της Ακρόπολης γιατί περιέκλειε όλους τους απαραίτητους χώρους για την άμυνά της.

Στα τείχη του εξωτερικού περίβολου της Ακρόπολης ξεχωρίζουν δύο τετράγωνοι και ένας πολυγωνικός πύργος, ενώ στο εσωτερικό του λειτουργεί υπαίθριο θέατρο για πολιτιστικές εκδηλώσεις και αναψυκτήριο για τους επισκέπτες.