Μετά το 16ο αιώνα η Ακρόπολη συνδέθηκε στενά με την ιστορία της Καβάλας. Στην οικοδομική δραστηριότητα της εποχής του Σουλεϊμάν του Μεγαλοπρεπούς, που τόσα προσέφερε στη νέα πόλη, μπορεί να αποδοθεί το κτίσιμο της φυλακής και η αποθήκη μάλλον των πυρομαχικών και τροφίμων, που βρήκε ο Εβλιά Τσελεμπή στην Ακρόπολη το 1667. Καθώς ακουμπά στη βόρεια κορτίνα του εσωτερικού περιβόλου γίνεται φανερό ότι είναι μεταγενέστερη απ’ αυτή. Η τοιχοποιία της, διαφορετική από αυτή της υπόλοιπης Ακρόπολης-ενισχυμένη στις γωνίες με πέτρες πιο τετραγωνισμένες και χωρίς την παρεμβολή τούβλων-, μας θυμίζει τις Οθωμανικές προσθήκες και επισκευές του δευτέρου μισού του 16ου αιώνα στα κάστρα του Μοριά (Μεθώνη, Νέο Ναυαρίνο, κάτω πόλη Μονεμβασιάς).
Οι αυξημένες αμυντικές ανάγκες και κυρίως η αλλαγή της πολεμικής τεχνικής, επέφεραν ορισμένες αλλαγές στην Ακρόπολη και ιδιαίτερα στο χαμηλότερο εξωτερικό περίβολο: στη ΝΔ γωνία του ανοίγεται η πύλη που συνδέει την Ακρόπολη άμεσα με το κέντρο της νέας πόλης, ενώ η ΝΑ του γωνία διαμορφώνεται σε προμαχώνα για την τοποθέτηση πυροβολικού. Επιχωματώνεται ο πολυγωνικός πύργος της ανατολικής κορτίνας του. Η ελαφριά ξύλινη επίπεδη οροφή του πύργου Β της ΒΔ γωνίας μετατρέπεται σε μια κτιστή κάμαρα και κατασκευάζεται η μικρή ράμπα της ανατολικής κορτίνας για τη μεταφορά πυροβολικού στην κορυφή του πύργου. Ταυτόχρονα διαφοροποιήθηκαν σε τριγωνικές οι επάλξεις στη ΒΔ γωνία του εσωτερικού περιβόλου και πήρε τη σημερινή μορφή του ο πολυγωνικός προμαχώνας της βόρειας κορτίνας του.
Βέβαια κατά καιρούς έγιναν αρκετές μετατροπές, με σκοπό την τοποθέτηση κανονιών και διάφορες επισκευές: μια εκτεταμένη το 1656 και μια άλλη πιθανόν μετά την καταστροφή που υπέστη από πυρκαγιά το 1684. Δεδομένου ότι μετά τους πρώτους αιώνες ο κίνδυνος εξωτερικών επιθέσεων ήταν σχεδόν ανύπαρκτος, η Ακρόπολη παύει να αποτελεί αμυντικό κέντρο της περιοχής, όπως ήταν αρχικά, και εκλείπουν οι λόγοι να συντηρείται συστηματικά και να φυλάσσεται από μεγάλη στρατιωτική δύναμη. Από τα μέσα του 19ου αιώνα η φρουρά του φρουρίου έχει περιοριστεί σε 50-60 άτομα, τα κανόνια του είναι πεπαλαιωμένα, η συντήρησή τους κακή και η άσκηση των φρουρών σχεδόν ανύπαρκτη.
Από το 17ο αιώνα η Ακρόπολη χρησιμεύει και ως τόπος εξορίας και φυλάκισης υπηκόων του σουλτάνου. Το 1618 υπήρχαν εδώ 100 φυλακισμένοι, μουσουλμάνοι και χριστιανοί, που κρατούνταν υπό άθλιες συνθήκες, αφού οι οθωμανικές αρχές δαπανούσαν ελάχιστα για τη συντήρησή τους. Το 1722 ο διοικητής του φρουρίου διατάσσεται «να εγκλείση εις το δεσμωτήριον…μέχρι του σωφρονισμού των» πέντε ραγιάδες από τη Θεσσαλονίκη, επειδή δημιούργησαν πρόβλημα στην είσπραξη των δημοσίων προσόδων. Το 1759 φυλακίζεται εδώ ο καθαιρεθείς πασάς της Καβάγιας Ιμπραήμ, το 1792 ο κοτζαμπάσης της Θάσου Μεταξάς, επειδή αντιδίκησε με το βοεβόδα της Λήμνου κλπ. Όλοι αυτοί βρίσκονταν φυλακισμένοι στο μεγάλο σκοτεινό υπόγειο που μέχρι σήμερα είναι γνωστό ως φυλακή. Σε ένα ιλιάμ (δικαστική απόφαση) του 1654 λέγεται ότι τμήμα του τείχους της Ακρόπολης κάηκε ως συνεπεία πυρκαγιάς. Διατάχθηκε αμέσως στους μαστόρους, Αργυρό και Βασιλικό, να αναλάβουν την επισκευή. Τα έξοδα ανήλθαν στο ποσό των 80.000 ακτσέ. Βάσει του εν λόγω εγγράφου, στο κάστρο υπήρχαν ντιζντάροι (επιθεωρητές των τειχών), κετχούντα έροι (επικεφαλής φρουράς της Υψηλής Πύλης), σερδάρηδες (αρχιστράτηγοι), μουσταφάζοι (διοικητές οχυρών), αζεμπάνοι (ναύτες), γενίτσαροι κ.α. Σε μια καταγραφή του 1618 τονίζεται ότι στις φυλακές βρίσκονται 100 άτομα -χριστιανοί και μουσουλμάνοι- οι οποίοι έπαιρναν την ημέρα ένα ακτσέ για διατροφή. Με τέτοιο ημερήσιο σιτηρέσιο είναι ζήτημα αν εκείνη την εποχή επιβίωναν οι περισσότεροι απ’ αυτούς. Από μια διαταγή του 1715 πληροφορούμαστε πως είχαν παραγγελθεί για την κατασκευή στο εργαστήριο του Πραβίστε (Ελευθερούπολη) 4.019 κανόνια που προορίζονταν για αποστολή στα κάστρα Καβάλας, Κορούν (Κορώνης), Μετόν (Μεθώνης) και Αναβαρίν (Ναβαρίνου). Το ενδιαφέρον στην προκειμένη περίπτωση είναι πως τα κανόνια αποθηκεύονται στο λιμάνι της Καβάλας.
Ενδιαφέρον παρουσιάζει μια αναφορά στο φρούριο της Καβάλας μέσα από τα κείμενα των διαφόρων περιηγητών που επισκέφθηκαν κατά καιρούς την πόλη. Στα 1470 η πόλη δεν πρέπει να κατοικείτο. Τα αναφερόμενα ακατοίκητα κάστρα είναι το κάστρο της Χριστούπολης στη θάλασσα, το οποίο είχαν αναγείρει οι Τούρκοι στα 1425 και το οποίο, όπως φαίνεται το 1470, είχαν πάψει να το χρησιμοποιούν, καθώς και το «παρά την Χριστούπολιν τείχισμα» στο βουνό, βόρεια της Χριστούπολης. Η ίδρυση της πόλης της Καβάλας τοποθετείται ανάμεσα στα 1520 και 1530.
Η περίμετρος της Ακρόπολης -εσωτερικά- είναι 3000 βήματα και έχει την κεντρική του πύλη προς το νότο, φιλοξενεί το φρούραρχο (ντισντάρης) και περικλείει τις αποθήκες πυρομαχικών (μπαρουτχανάδες) και τροφίμων.
Ο Robert de Dreux, που πέρασε από την Καβάλα δύο χρόνια αργότερα (1669) περιγράφει την Ακρόπολη χωρισμένη σε δύο πτέρυγες μ’ ένα μεγάλο πύργο στην κορυφή της. Η δύναμη πυρός της Ακρόπολης δεν ήταν μεγάλη -ας μην ξεχνάμε ότι η γύρω πόλη προστατευόταν και από τα κανόνια των θαλασσίων τειχών της. Κατά την επίθεση του Morosini εναντίον της Καβάλας, μνημονεύονται στην Ακρόπολη 3 κανόνια. Αργότερα το 1786 ο Cousinery αναφέρει ότι στην Ακρόπολη υπάρχουν 8-10 κανόνια και ότι εκεί φιλοξενείται ο δισδάρχης με λίγους άνδρες. Το 18ο αιώνα στην Ακρόπολη φυλακίζονται σημαίνοντα πρόσωπα (από τότε η αποθήκη πυρομαχικών και τροφίμων μετονομάστηκε σε φυλακή). Την εποχή εκείνη ή και λίγο αργότερα, όπως δείχνει η πολύ πρόχειρη τοιχοποιία, κτίστηκε το μικρό τζαμί πάνω από τη δεξαμενή.