A construção deste imponente palácio residencial setecentista remonta ao ano de 1715, quando D. Diogo Francisco de Azevedo de Almeida e Vasconcelos, um dos fundadores da Real Companhia de Vinhos do Alto Douro, mandou que o construíssem para ser a casa da sua família.

Com características típicas do barroco civil, este palácio conta com uma fachada impressionante com quatro janelas de vão retangular e com uma fachada lateral de beleza rara, com nove janelas de sacada em cantaria trabalhada. O pátio interior dá acesso aos jardins do palácio que foi também Paço Real, aquando das várias estadias da Rainha D. Amélia e dos Príncipes Reais nas Termas de S. Pedro do Sul.