A Casa da Capela, tendo preservado a sua identidade ao longo do tempo, revela a extraordinária história desta Quinta, cuja origem remonta ao Século XIV e à anterior presença nesta região do primeiro Rei de Portugal, D. Afonso Henriques, por altura da sua adolescência, com o seu aio Egas Moniz (sepultado no Mosteiro do Paço de Sousa situado a poucos quilómetros dali) e do seu irmão Mem Moniz.

Este último terá atribuído o Morgado de Velude ao fidalgo Vasco Esteves de Matos, uma Honra com extensão até ao Rio Douro, instituída em 1350.

Desde essa data a Quinta pertenceu às famílias dos Morgados de Velude, fundadores das antigas Capelas de Santo António (1388) e dos Prazeres (1618), posteriormente integradas no transepto da atual Igreja Matriz de Cinfães.

No entanto, é importante destacar que a história deste local se estende a tempos ainda mais antigos, com a presença de antigos caminhos romanos, ruínas romanas, vestígios castrejos e mouros por toda a região.