528. a läänistas Saare - Lääne piiskop G. v. Tiesenhausen Püha kihelkonda jäävad 30 adramaad mõisa asutamiseks.

16. sajandi teisel poolel liideti sellele ka naabrusse jäävad Tölsenite valdused, kuhu ehitati välja mõisasüda. Tõenäoliselt sai Tölsenite järgi paik ka oma hilisema nime Tõlluste.
Rahvasuus on nime kujunemist seostatud aga ka Saaremaa muistse hiiu Suure Tõllu nimega.
Läheduses asuvat koguni vägilase haud.

17. sajandil Vietinghoffide perekonna valduses olles kujunes Tõlluste piirkonna suurimaks mõisaks. Hävingu tõi kaasa aga Põhjasõda ja 1708. - 1711. aastatel möllanud katk, mis muutis Saaremaa peaaegu inimtühjaks ning halvas elu terveks inimpõlveks. 1789. a. omandas mõisa G. Fr. v. Sass. Kui mandril tõi 18. sajandi lõpp kaasa uued arhitektuurisuunad, siis Tõllustel, nii nagu kogu Saaremaalgi, hoiti visalt kinni möödunud perioodi ehitustavadest. 19. sajandi algusest pärineval C. Fr. Chr. Buddeuse pliiatsijoonisel on kujutatud harimalkadega roogkatuse ja kahe erandlikult kõrge korstnaga osalt palkidest, osalt paekivist härrastemaja. 1820. a. ehitati hoone aga ulatuslikult ümber. Sellele anti nüüd üsna tavakohane poolkelpkatuse, telgsümmeetrilise põhiplaani ja peaaegu liigendamata seintega üldkuju.

Peahoonest ilmekamad on praegu kõrvalhooned. Neist üks - rahvasuus nn. suvitusmajana tuntud elamu - on arvatavasti valminud mingi vanema arhailistes proportsioonides kõrvalhoone ümberehitamise teel. Meie etnograafilises traditsioonis on haruldane kahekorruseline kaaristu ja puitgaleriiga aidahoone.