Το υπόλοιπο Κάστρο ακόμα και σήμερα περιβάλλεται από επιβλητικά πυργοειδή αρχοντικά που εφάπτονται μεταξύ τους, δημιουργώντας ένα αδιαπέραστο τείχος. Το Κάστρο επικοινωνούσε με την υπόλοιπη πόλη και οικισμούς με τρεις εισόδους, τη βόρεια πύλη που ονομαζόταν Τρανή Πόρτα , τη νότια πύλη το Παραπόρτι και μια ακόμα που δε σώζεται στα νοτιοανατολικά, το Πίσω Παραπόρτι. Επίσης, σώζεται η βάση του κεντρικού τετραγώνου του πύργου του Σανούδου στη κορφή του Κάστρου, δίπλα στη Καθολική Μητρόπολη.
