可以向法院起訴進行取消。離婚後，未與子女共同生活的一方，要是出現監護人對子女有犯罪行爲、虐待行爲或者對該子女明顯不利的，未與子女共同生活的一方可以請求法院取消對方的監護人資格。
《民法典》第三十六條監護人有下列情形之一的,人民法院根據有關個人或者組織的申請,撤銷其監護人資格,安排必要的臨時監護措施,並按照最有利於被監護人的原則依法指定監護人:
(一)實施嚴重損害被監護人身心健康的行爲;
(二)怠於履行監護職責,或者無法履行監護職責且拒絕將監護職責部分或者全部委託給他人,導致被監護人處於危困狀態;
(三)實施嚴重侵害被監護人合法權益的其他行爲。
