Το κάστρο της Καβάλας που δεσπόζει στην κορυφή της χερσονήσου Παναγίας, σε ύψος περίπου 70 μέτρων, είναι έργο της πρώιμης οθωμανικής περιόδου. Ανοικοδομήθηκε στη θέση της βυζαντινής ακρόπολης που καταστράφηκε το 1391 μ.Χ., όταν η Χριστούπολη κυριεύτηκε από τους Οθωμανούς.

Από τις διάφορες φάσεις της βυζαντινής οχύρωσης, σώζονται ελάχιστα τμήματα: ο πύργος Υπέρκαλος, ένα κομμάτι του διαχωριστικού τείχους, μικρά τμήματα των τειχών δίπλα από τις δύο πύλες του εξωτερικού περίβολου. Το φρούριο της Χριστούπολης αναφέρεται πολύ συχνά στις πηγές μετά τα τέλη του 12ού αιώνα και πέρασε διαδοχικά στην κυριαρχία των Λομβαρδών, των Φράγκων, ξανά των Βυζαντινών και στη συνέχεια των Τούρκων. Όπως όλες οι βυζαντινές οχυρώσεις, έτσι και το φρούριο της Καβάλας αποτελούνταν από τον εξωτερικό περίβολο και την ακρόπολη, το έσχατο σημείο άμυνας της πόλης.

Η οθωμανική ακρόπολη ενσωμάτωσε στην κατασκευή της τα ερείπια της παλαιότερης και, όπως φαίνεται, ακολούθησε σε γενικές γραμμές τη μορφή, το διάγραμμα και την έκτασή της. Το κάστρο καταλαμβάνει την κορυφή και τη βόρεια πλαγιά του λόφου, ενώ ο οχυρωμένος περίβολος χωρίζεται σε δύο μέρη από ένα εγκάρσιο τείχος, στο οποίο βρίσκεται ενσωματωμένος ο κεντρικός πύργος. Προορισμός του οχυρού ήταν αφενός ο έλεγχος και η προστασία του καίριου περάσματος της Εγνατίας οδού, που υπέφερε από τις πειρατικές επιδρομές, και αφετέρου η επιτήρηση των κινήσεων του βενετσιάνικου στόλου και η αντιμετώπιση μιας επικείμενης επίθεσης.

Η ακρόπολη της Καβάλας οικοδομήθηκε σε δύο φάσεις: το 1425 και το 1530.

Οι οθωμανικές πηγές αγνοούν την κατασκευή του 1425 και αποδίδουν το έργο στον σουλτάνο Σελίμ ή Σουλεϊμάν. Γύρω στα 1520-1530 έγινε μια νέα, μεγάλης έκτασης και επιμελέστερη παρέμβαση στον εσωτερικό περίβολο της ακρόπολης.

Ο εξωτερικός περίβολος, που οχυρώνει τη χαμηλότερη και επισφαλέστερη πλαγιά του λόφου, έχει ακανόνιστο σχήμα, με μήκος 65 μέτρα. Τα τείχη του ενισχύονται από δύο τετράγωνους πύργους (στις Β.Δ. και Β.Α. γωνίες αντίστοιχα), από έναν πολυγωνικό, στη μέση περίπου της ανατολικής πλευράς και έναν προμαχώνα στη Ν.Α. γωνία. Ο εσωτερικός περίβολος αποτελούσε και το σπουδαιότερο τμήμα της ακρόπολης γιατί περιέκλειε όλους τους απαραίτητους χώρους για την άμυνά της: τη δεξαμενή του νερού, την αποθήκη πυρομαχικών και τροφίμων, στο κτίσμα που ονομάζεται σήμερα φυλακή, χώρους κατάλληλους για καταλύματα φρουράς (φυλάκιο) και άλλα οικήματα που τα θεμέλιά τους άρχισαν να αποκαλύπτονται σε πρόσφατες έρευνες.

Στα 1880-1885 η Πύλη υποβίβασε το κάστρο της Καβάλας στην κατηγορία των εγκαταλειμμένων οχυρών. Οι αρχές και η στρατιωτική δύναμη εγκατέλειψαν την ακρόπολη, οι στρατιωτικές εγκαταστάσεις και η φυλακή μεταφέρθηκαν σε άλλα μέρη της πόλης. Το μνημείο έπαυσε να συντηρείται και παραδόθηκε στη φθορά του χρόνου. Στις αρχές του 20ού αιώνα η αιγυπτιακή κυβέρνηση αγόρασε το αναξιοποίητο φρούριο για να εγκαταστήσει Βιομηχανική και Βιοτεχνική Σχολή, σχέδιο που δεν υλοποιήθηκε ποτέ. Για τελευταία φορά η ακρόπολη χρησιμοποιήθηκε στη διάρκεια του Β΄ Παγκοσμίου Πολέμου από τα στρατεύματα του Άξονα.

Στα τέλη της δεκαετίας του 1960 το κάστρο περιήλθε, κατόπιν αγοράς στην κυριότητα του Δήμου Καβάλας. Το κάστρο διατηρείται ακόμη σε σχετικά καλή κατάσταση και μετά από μια μακρά περίοδο εγκατάλειψης εντάσσεται σταδιακά στην ζωή της πόλης. Έτσι τα τελευταία χρόνια, κατά τους καλοκαιρινούς μήνες, χρησιμοποιείται και ως χώρος πολιτιστικών εκδηλώσεων. Στον εξωτερικό περίβολο, όπου έχει διαμορφωθεί υπαίθριο θέατρο, διοργανώνονται συναυλίες, θεατρικές και χορευτικές παραστάσεις, ενώ στα κτίρια της φυλακής και στο φυλάκιο φιλοξενούνται διάφορες εκθέσεις.

Σήμερα το σημαντικό αυτό μνημείο –άλλοτε αμυντικό οχυρό, κέντρο διοίκησης και τόπος εξορίας και φυλάκισης– προσαρμόζεται στις απαιτήσεις της εποχής και αναλαμβάνει μια νέα λειτουργία, ως χώρος αναψυχής και πολιτισμού. Ποτέ όμως δεν έπαυσε να αποτελεί σημαντικό αξιοθέατο της περιοχής, χώρο περιήγησης και να προσφέρει από τις επάλξεις του μια μαγευτική θέα της Καβάλας και της γύρω επικράτειας.