Su origen está vinculado con la figura de Paio Méndez Sorrede. Hablamos del s. XII, durante el reinado de Alfonso VII. Concebida como edificación fortificada de carácter militar y defensiva hasta el siglo XV, evoluciona coherentemente, de torre de defensa a fortaleza con doble recinto amurallado.
Su estratégico emplazamiento se debe a las ventajas ofrecidas por encontrarse escondido ante las posibles invasiones realizadas por mar, a su capacidad para señorear las tierras de su feudo y controlar las comunicaciones de sur a norte de la provincia.
Pedro Álvarez de Soutomaior, más conocido como Pedro Madruga, fue el personaje más singular de los relacionados con el castillo. Hizo de él la base de sus correrías en el siglo XV, época de máximo esplendor de la Casa de Soutomaior.
Se convirtió en leyenda por su intervención en múltiples episodios de la historia de Galicia, como sus enfrentamientos con los irmandiños, con la jerarquía eclesiástica y con otras familias nobles.