Dell’impianto originario dell’edificio, databile tra il I secolo a.C. e il II secolo d.C., si conservano per intero le mura perimetrali, dotate di torrette circolari.

La cinta turrita, costruita a imitazione delle fortificazioni della città, è un elemento che caratterizza altre residenze del territorio di Cosa, come la celebre villa di Settefinestre. Oltre ad avere un impianto simile a quest’ultima, la villa delle Colonne doveva appartenere anche agli stessi proprietari, la famiglia senatoria dei Sestii.