Godsets Hovedbygning lå på voldstedet indtil 1731, hvor der var en stor brand.

Godsejeren hed Severin de Junge. Han var adelsmand, direktør i Dansk-Vestindisk kompagni og ejede desuden flere andre godser – en meget, meget rig fyr.

Historien lyder, at Severin havde en affære med en af stuepigerne på Sonnerupgaard Gods.

Godsejerinden hed Else Barholin, og da hun hørte om affæren, krævede hun omgående, at den skulle stoppe.

Så måtte Severin gå til stuepigen for at fortælle hende, at det var slut. Men det ville stuepigen ikke finde sig i, og hun truede ham med at brænde hele godset ned.

Da Severin alligevel afsluttede affæren, gjorde stuepigen alvor af sine trusler og satte Hovedbygningen i brand.

Hun led dog en noget indebrændt skæbne, da hun selv omkom i flammerne.