Anticamente, sotto il dominio del vescovo di Asti, il castello apparteneva ai Solaro, signori di San Martino.

A questa famiglia subentrano gli Alfieri che, dopo aver riunificata la proprietà con permute e acquisizioni,   nel 1696 iniziano importanti lavori per trasformare il castello in una splendida dimora barocca, senza eccessi, dalle linee semplici, ben intonato al paesaggio. Il progetto è realizzato nel 1721 dall'ingegnere Bertola.

Molti maestri comacini abbellirono con stucchi le sale. Quelli del salone sono opera di Antonio Catenazzi luganese.

Intorno al 1820 avviene l'ultimo intervento importante del castello, sotto la direzione dell'architetto Ernesto Melano. A questi si deve anche la sistemazione urbanistica del paese e il progetto di una nuova chiesa parrocchiale e della casa comunale.