Το 19ο αιώνα πέρασε ο Β. Νικολαΐδης από την Καβάλα. Βρίσκει στην Ακρόπολη 16 κανόνια και επισημαίνει την αδυναμία της απέναντι σε μια δυνατή επίθεση από την πλευρά της θάλασσας.
Στην Ακρόπολη της Καβάλας βρισκόταν μέχρι περίπου το 1880 και το διοικητικό κέντρο της πόλης και της ευρύτερης περιοχής. Εδώ πρέπει να ήταν εγκατεστημένες, μάλλον, εξ αρχής, οι οθωμανικές αρχές του οικισμού, του ναχιγιέ (=μικρή διοικητική μονάδα υποδιαίρεση αρχικά του σαντζακίου και αργότερα του καζά), οι διάφοροι αξιωματούχοι και η μικρή φρουρά του κάστρου 50-300 άτομα κατά περιόδους) με επικεφαλής το φρούραρχο. Σ’ αυτό συνηγορούν ένα γενικό και ένα ειδικό δεδομένο: Το πρώτο είναι ότι στις οθωμανικές πόλεις η διοίκηση και η στρατιωτική φρουρά στεγάζονταν κατά κανόνα σε οχυρωμένο τμήμα τους. Το δεύτερο είναι ότι στην Καβάλα μέχρι περίπου το 1530, το μόνο πραγματικά οχυρωμένο και ασφαλές μέρος της χερσονήσου ήταν η Ακρόπολη, η οποία επιπλέον ως χώρος στρατοπέδου, πρέπει να διέθετε και τις στοιχειώδεις υποδομές. Η Ακρόπολη εξακολουθεί να αποτελεί το στρατιωτικοδιοικητικό κέντρο της Καβάλας ακόμη μια-δυο δεκαετίες μετά την επέκταση της πόλης εκτός των τειχών (το 1864). Λίγο πριν από το 1885 όλες οι αρχές και η στρατιωτική δύναμη εγκαταλείπουν την Ακρόπολη, οι στρατιωτικές εγκαταστάσεις μεταφέρονται σε άλλο σημείο της πόλεως, έξω από τα τείχη, τα άχρηστα πλέον πυροβόλα αποσύρονται κα η σημαία υποστέλλεται από τις επάλξεις. Στις αρχές του 20ου αιώνα, ο χεδίβης της Αιγύπτου Αμπάς Χιλμί αγόρασε το άχρηστο πλέον φρούριο από τους Οθωμανούς, για να εγκαταστήσει βιομηχανική και βιοτεχνική σχολή, σχέδιο που δεν υλοποιήθηκε.
Μετά τη διακοπή λειτουργίας της Ακρόπολης ως «στρατιωτικού» μέρους, χρησιμοποιήθηκε για την εξυπηρέτηση των καθημερινών αναγκών των κατοίκων της Παναγίας. Η Ακρόπολη αποτελούσε το καλύτερο και πλέον περιπόθητο «γήπεδο ποδοσφαίρου»: έμπαιναν μέσα από την πύλη της ζεματίστρας, τραβώντας την πόρτα ή περνώντας κάτω απ’ αυτήν. «Εκεί παίζαμε στο Μαρακανά», θυμούνται οι κάτοικοι της Παναγίας, εξηγώντας ότι υπήρχε αυτοφυές χόρτο. Επίσης, ένα θέαμα που συνδέεται με σωματική ρώμη, με το οποίο οι κάτοικοι της Παναγίας είχαν την ευκαιρία να απολαύσουν, ήταν οι «μπεχληβάνηδες» (παλαιστές). Αυτοί αποτελούσαν θέαμα γνωστό στους πρόσφυγες που προέρχονταν από τα εδάφη της Οθωμανικής Αυτοκρατορίας. Μεγαλόσωμοι άνδρες εμφανίζονταν σε αγώνες ελευθέρας πάλης, έχοντας το κορμί τους αλειμμένο με λάδι. Οι αγώνες γίνονταν στο χώρο του φρουρίου και το φαινόμενο διήρκεσε μέχρι το 1940. Οι θεατές παρακολουθούσαν έχοντας προμηθευτεί προηγουμένως εισιτήριο. Τέλος, η Ακρόπολη χρησίμευε κα ως χώρος σχολικών εκδρομών: «Μόνο στο φρούριο, όπου πηγαίναμε εκδρομές με το σχολείο και τρέχαμε ανάμεσα σε θρυμματισμένα κανόνια κι ερειπωμένα δεσμωτήρια, σκουριασμένες κρεμάλες και ανήλιαγες κρυψώνες, προσπαθούσαμε να ξεδιπλώσουμε το μικρό πανωφόρι του παιχνιδιού».
Για τελευταία φορά η Ακρόπολη χρησιμοποιήθηκε στη διάρκεια του Β’ Παγκοσμίου Πολέμου, όταν καταλήφθηκε από τα στρατεύματα κατοχής. Τότε κτίστηκαν μπροστά από το φυλάκιο δύο δωμάτια, που χρησιμοποιήθηκαν σα γραφεία και τείχισαν την αρχική του είσοδο. Το κτίσμα αυτό κατεδαφίστηκε μεταπολεμικά. Ίχνη του διακρίνονται στο έδαφος, καθώς και στην πρόσοψη του φυλακίου. Το 1964 ο Δήμος Καβάλας αγόρασε την Ακρόπολη από την Αιγυπτιακή κυβέρνηση, προχωρώντας στην ανακατασκευή της, προκειμένου να δοθεί σε χρήση στους πολίτες της Καβάλας. Στην εποχή μας, το μνημείο (άλλοτε αμυντικό οχυρό, διοικητικό κέντρο και τόπος εξορίας και φυλάκισης) προσαρμόζεται στις απαιτήσεις της σύγχρονης πόλης, εντάσσεται στη ζωή της και αναλαμβάνει μια νέα λειτουργία, ως χώρος αναψυχής και πολιτιστικών δραστηριοτήτων.