Η Καρύταινα αναφέρεται για πρώτη φορά τον 13ο αιώνα, κατά τη διάρκεια της Φραγκοκρατίας στην Ελλάδα. Την περίοδο αυτή υπήρξε πρωτεύουσα μίας από τις βαρωνίες των Φράγκων. Στη γαλλική παραλλαγή του Χρονικού του Μορέως αναφέρεται ως Caraintaine. Τα πρώτα χρόνια της Φραγκοκρατίας, την βαρονία της την κατείχε η οικογένεια των Ντε Μπρυγιέρ (ή Ντε Μπριέλ). Στην οικογένεια αυτή αποδίδεται και η κατασκευή του κάστρου της Καρύταινας που χτίστηκε στα μέσα του 13ου αιώνα. Για την κατασκευή του χρησιμοποιήθηκαν τα ερείπια της αρχαίας Βρένθης που ήταν χτισμένη στην ίδια τοποθεσία. Το εντυπωσιακό και ισχυρό κάστρο της Καρύταινας προσέδωσε στην πόλη στρατηγική σημασία και την ασφάλισε αποτελεσματικά. Αργότερα, η Καρύταινα πέρασε στην εξουσία του Δεσποτάτου του Μορέως, καθώς το 1320 εξαγοράστηκε από τον Ανδρόνικο Β' Παλαιολόγο.[1]