Κατευθυνόμενοι από την Ποταμιά προς στο Χαλκί, σε ύψωμα ανάμεσα την κοιλάδες της Ποταμιάς και του Χαλκείου, βορείως του Τσικαλαριού, υπάρχει μονοπάτι που οδηγεί στο Απάνω Κάστρο. Η θέση στην οποία βρίσκεται δηλώνει ότι υπήρξε σημείο αναφοράς για την Κεντρική Νάξο και ειδικότερα για τη περιοχή της Δρυμαλίας. Σύμφωνα με την παράδοση, κτίστηκε το β’ μισό του 13ου από το δούκα Μάρκο Σανούδο Β’, με στόχο την αντιμετώπιση εξεγέρσεων του τοπικού πληθυσμού. Ενώ, μια άλλη εκδοχή θέλει να κτίστηκε στα τέλη του 14ου αι. με σκοπό την αντιμετώπιση των τούρκικων επιδρομών. Επίσης, εικάζεται ότι γύρω στο 1500 ανακαινίστηκε και προστέθηκαν και οι δύο πολεμίστρες, οι οποίες σώζονται μέχρι σήμερα. Τα υπάρχοντα ευρήματα, μαρτυρούν οχύρωση του υψώματος από την προϊστορική εποχή, καθώς στους πρόποδές του έχει ανασκαφεί γεωμετρικό νεκροταφείο. Κοντά στα τείχη του σώζονται τα βυζαντινά εκκλησάκια της Παναγίας της Καστριανής και του Αγίου Γεωργίου. Σήμερα, σώζονται μόνο κάποια ερείπια του κάστρου, δύο σειρες τειχών με προμαχώνες, καθολικές και ορθόδοξες εκκλησίες, ερείπια αρχοντικών και άλλων κτισμάτων.
