A orixe da familia noble que fundou esta casa son os Sarmiento de Valladares, que foron os rexidores militares durante varias xeneracións da vila de Salvaterra.

Entre eles destacamos a Jácome Sarmiento de Valladares III, que sendo maestre de campo de infantería foi nomeado polo Rei gobernador da praza de Salvaterra en tempos da guerra contra Portugal. A él se debe a restauración do pazo en 1677, xa que fora destruido anos antes polo exército portugués cando invadiu a vila en 1642. Unha inscrición practicada baixo un dos escudos situados na parede do patio da casa marca a orixe da historia moderna do pazo das Barreiras:

"EL S.D. IACOME SARMIENTO DE BALLADARES MRE. DE CAMPO DE INFANTERIA HESPAÑOLA GOVERNADOR POR SV MAGESTAD DE LA PLAZA DE SALVATIERRA Y CABO DE LAS MILICIAS DE SV DISTRITO REEDIFICO ESTA CASA AÑO DE 1677 ARUINADA POR EL PORTUGVES AÑO DE 1642 ESTANDO EN SALVATERRA EN 15 DE AGOSTO DE DICHO AÑO Y RECVPERADA EN EL AÑO DE 1659"

Os últimos descendentes da casa foron homes de letras que entrelazaron vínculos con outras casas importantes da provincia.

O pazo foi construido coa pedra da derruida atalaia de Santiago de Aytona, e tras esta primeira reconstrucción volveu ser rehabilitada xa no ano 1979. Finalmente, pasando posteriormente a convertirse na sede da adega Señorío de Lazoiro en 1996.

Do pasado militar do pazo conservanse as antigas cabaleirizas e as troneiras de los muros defensivos.

Destaca o seu portalón almenado e blasonado que da paso a un acolledor patio onde destacan o pozo, a escalinata de pedra que ascende ata o patio blasonado e a cuberta sostenida por columnas de sección cuadrada. Todo o pazo está nun estado de conservación moi bo.

O pazo conta con tres escudos. Dous deles están situados na solaina e fan referencia ós abuelos e pais de Jácome III. As linaxes Sarmiento, Valladares, Castro e Lobato figuran no escudo da esquerda, mentras que no da dereita aparecen reflexados os Suárez, Araújo, Sotelo e Salgado. Baixo o escudo da dereita está a inscrición comentada antes.

O terceiro escudo é o que se topa no portalón de entrada. Feito en 1777, en tempos de Francisco Antonio Carballido y Sarmiento, relixioso e descendente da casa, este escudo de grandes dimensións recolle 14 linaxes distintas que fan referencia ós antepasados do pazo.