Στη θέση του Τζαμιού Χαλίλ μπέη προϋπήρχε, σύμφωνα με τα αρχαιολογικά ευρήματα και την προφορική παράδοση, η βυζαντινή εκκλησία της Αγίας Παρασκευής. Πρόσφατες ανασκαφικές έρευνες αποκάλυψαν τον πρώιμο αυτό χριστιανικό ναό (σώζεται κάτω από το δάπεδο του τζαμιού), καθώς και ένα μικρό νεκροταφείο της βυζαντινής εποχής. Το πιο πιθανό είναι ότι ο ναός μετατράπηκε σε μουσουλμανικό τέμενος και ότι στην ίδια θέση κτίστηκε αργότερα το υφιστάμενο τζαμί.

Το τζαμί Χαλίλ μπέη αποτελούσε μέρος ενός ευρύτερου συγκροτήματος, που περιελάμβανε μεντρεσέ με οκτώ δωμάτια για τους μαθητές. Στις αρχές του 20ού αιώνα μέσα στο συγκρότημα λειτούργησε και σχολείο πρώτης βαθμίδας για τα κορίτσια. Με την έλευση των προσφύγων στο τζαμί και στου χώρους του μεντρεσέ εγκαταστάθηκαν οικογένειες προσφύγων. Το χρονικό διάστημα 1930 –1940 στο τζαμί στεγαζόταν η Φιλαρμονική του Δήμου και έτσι απέκτησε την επωνυμία “Τζαμί της Μουσικής”.

Την ίδια περίοδο πρέπει να κατεδαφίστηκε και ο τοίχος περίφραξης και να δημιουργήθηκε το μικρό πλάτωμα που υπάρχει μπροστά από το μνημείο. Το συγκρότημα του τζαμιού και του μεντρεσέ έχει προσφάτως αναστηλωθεί και αποκατασταθεί και προορίζεται να φιλοξενήσει πολιτιστικές χρήσεις.