Το «κονάκι» του Μοχάμετ Άλι, το οποίο αποτελούσε το μεγαλύτερο σπίτι της Καβάλας την εποχή εκείνη, θεωρείται ένα από τα πιο χαρακτηριστικά σωζόμενα δείγματα Οθωμανικής αρχιτεκτονικής του 18ου αιώνα στην Ελλάδα. Βρίσκεται σε τέτοια θέση, ώστε να έχει πανοραμική θέα απ’ όλες τις πλευρές. Από την είσοδό του ατενίζει κανείς το λιμάνι της Καβάλας και από την άλλη πλευρά έναν πανέμορφο κόλπο. Έχει δύο εισόδους. Στη νότια ενότητα βρίσκεται το selamlik, το οποίο περιλαμβάνει τους χώρους της ημερήσιας διαμονής και εργασίας των ανδρών, καθώς και τους χώρους υποδοχής των επισκεπτών τους. Στη βόρεια ενότητα βρίσκεται το harem που περιέχει τους χώρους των γυναικών, με τις εξυπηρετήσεις του καθημερινού νοικοκυριού, και συγχρόνως το ιδιαίτερο δωμάτιο του πασά, το δωμάτιο της ευνοούμενης και το σοφά. Ο κάτω όροφος περιελάμβανε το στάβλο για τα μεγάλα ζώα, ένα κελάρι για τη φύλαξη των τροφίμων και την κουζίνα. Επίπλωση στο σπίτι δεν υπάρχει. Μοναδικό διακοσμητικό στοιχείο αποτελούν οι ξύλινες εντοιχισμένες ντουλάπες και τα τζάκια.

Έχει ένα μεγάλο κήπο στον οποίο φυλάσσεται μέχρι και σήμερα κομμάτι από τον τάφο της μητέρας του Μοχάμετ Άλι, που βρισκόταν παλαιότερα στην πλατεία Ελευθερίας.