Η περιοχή του Κάστρου, που βρίσκεται στο λόφο μπροστά στο λιμάνι, κατοικείται αδιάκοπα από την προϊστορία μέχρι σήμερα. Είναι ίσως το σημαντικότερο ενετικό μνημείο του νησιού, αποτελώντας τη μοναδική συνοικία της Νάξου, όπου ακόμα και σήμερα επικρατεί το ρωμαιοκαθολικό στοιχείο. Το Μεσαίωνα ήταν γνωστό ως Μέσα Κάστρο της Ναξίας, αλλά και ως Κάτω Κάστρο. Τη σημερινή του μορφή, εν μέρη, την πήρε κατά τη διάρκεια της Τουρκοκρατίας, όταν το μεγαλύτερος μέρος των τειχών του γκρεμίστηκε και τη θέση τους πήραν αρχοντικά με θέα προς τη θάλασσα.
Λέγεται, ότι το έκτισε ο Μάρκος Σανούδος τον 13ο αι. χρησιμοποιώντας τα ερείπια της αρχαίας πόλης, για να κατοικήσει ο ίδιος και οι ακόλουθοί του και εκεί κατέστησε τη πρωτεύουσα του δουκάτου του, όμως δεν είναι γνωστό σε τι μορφή βρισκόταν πριν.
