Νότια του Σαγκρίου, πάνω σε μεγάλο ύψωμα βρίσκεται το Κάστρο τ’ Απαλίρου . Από τους πιο σημαντικούς οχυρωμένους οικισμούς των πρώιμων βυζαντινών χρόνων στο Αιγαίο που την βυζαντινή περίοδο αποτέλεσε πρωτεύουσα του νησιού. Το κάστρο αυτό πήρε το όνομά του από τις απαλιριές, ένα είδος θάμνου που φυτρώνει στη περιοχή. Η θέση είναι αρκετά οχυρή, αφού βρίσκεται σε αρκετά δύσβατο σημείο με μεγάλο υψόμετρο. Το κάστρο είχε ισχυρή οχύρωση και η άμυνα των πειρατών ήταν σθεναρή. Σήμερα υπάρχουν μόνο κάποια ερείπια από εκκλησίες, δεξαμενές, τείχη και κατάλοιπα οικισμών. Σώζεται μεγάλο σχετικά μέρος του περιμετρικού τείχους το οποίο ενισχύεται κατά διαστήματα από πύργους και ένα ισχυρό ημικυκλικό προμαχώνα. Μέρος του τείχους ανήκει, πιθανόν, σε προϊστορική οχύρωση. Πολλές από τις καμαροσκεπές των σπιτιών που σώζονται και εφάπτονται μεταξύ τους σχημάτιζαν μια δεύτερη γραμμή άμυνας.
