Le origini di questa fortificazione posta a protezione del comune di Varenna sono da far risalire presumibilmente all'epoca romana, sebbene nulla di romano rimanga nell'architettura del castello, di chiara matrice medievale. Vezio deve il suo nome probabilmente ad un legionario romano di nome Vescinus, sebbene altre ipotesi, parimenti valide ne fanno derivare il nome dall'aggettivo "Vetus" riferito al "pagus" ovvero "villaggio antico" a rimarcare che la zona era stata precedentemente abitata, in particolare, dai Liguri e in seguito dai Celti.