Ανατολικά στο Κάστρο, κοντά στο πίσω Παραπόρτι και κτισμένη πάνω στα τείχη του Κάστρου βρίσκεται η Μονή των Καπουκίνων. Οι Καπουκίνοι μοναχοί έφθασαν στη Νάξο το 1628. Η Μονή αποτελείται από την εκκλησία, που είναι αφιερωμένη στον Αγ. Αντώνιο της Πάντοβας και το κυρίως συγκρότημα της Μονής. Ο ναός είναι μονόκλιτος, με μαρμάρινο δάπεδο στο οποίο υπάρχουν επιτάφια μνημεία αρχοντικών οικογενειών. Το μοναστήρι είναι διώροφο με υπόγειες αποθήκες, εσωτερικό πηγάδι και κήπο. Σήμερα λειτουργεί τους θερινούς μήνες ως ξενώνας καθολικών παιδιών.