Στον εσωτερικό περίβολο της ακρόπολης, στα ανατολικά του κεντρικού πύργου, υπάρχει η αποθήκη πυρομαχικών και τροφίμων, κτίσμα το οποίο σήμερα αποκαλείται φυλακή. Στην αρχή της δημιουργίας του ο χώρος αποτελούσε την αποθήκη των πυρομαχικών και των τροφίμων της φρουράς της ακροπόλεως. Μετά το 16^ο αιώνα η ακρόπολη συνδέθηκε στενά με την ιστορία της Καβάλας. Στην οικοδομική δραστηριότητα της εποχής του Σουλεϊμάν του Μεγαλοπρεπούς, που τόσα πρόσφερε στη νέα πόλη, μπορεί να αποδοθεί το κτίσιμο της φυλακής, η αποθήκη μάλλον των πυρομαχικών και τροφίμων που βρήκε ο Εβλιά Τσελεμπή στην ακρόπολη το 1667, καθώς ακουμπά στη βόρεια κορτίνα του εσωτερικού περιβόλου γίνεται φανερό ότι είναι μεταγενέστερη απ’ αυτή. Από το 17^ο αιώνα η ακρόπολη   χρησιμεύει και ως τόπος εξορίας και φυλάκισης υπηκόων του σουλτάνου. Το 1618 υπήρχαν εδώ 100 φυλακισμένοι, μουσουλμάνοι και χριστιανοί, που κρατούνταν υπό άθλιες συνθήκες, αφού οι οθωμανικές αρχές δαπανούσαν ελάχιστα για τη συντήρησή τους.