在小說《知否知否應是綠肥紅瘦》中，齊衡一共娶過三任妻子，分別是嘉成縣主，晉南申氏大族的嫡女和慶寧大長公主的嫡孫女。
在電視劇《知否知否應是綠肥紅瘦》中，齊衡十分喜愛盛家最小的女兒盛明蘭，對她情有獨鍾。齊衡家世顯赫，長相又十分秀美，是很多女眷爭相追求的對象。但是齊衡的喜歡爲明蘭帶來了很多的壓力，家中的兩個姐姐都很看好齊衡，明蘭自己也認爲她高攀不起齊家的門檻。儘管齊衡並不在意嫡庶之別，但是家中的母親並不允許齊衡任性選擇。
因爲諸多原因，齊衡最終並沒有同盛明蘭走到一起，而是聽從家中的安排，但是即使如此，齊衡的感情也十分不順利。在小說中，他的第一任妻子是嘉成縣主，兩人新婚不久妻子就死於申辰之亂。
之後齊衡又娶了第二任妻子，是晉南申氏大族的嫡女。這位妻子對於齊家的再次崛起起到了很大的幫助，還爲齊衡生下了一對龍鳳胎。只是後來在齊衡到閩南上任時撞上了時疫，母子三人都不幸染病去世。齊衡的第三任妻子是慶寧大長公主的嫡孫女，爲齊衡生下兩個孩子之後去世，此後齊衡便再也沒有娶過親。
