五郎上了五臺山後，智聰禪師和他大談佛經，並說楊家雖有功於社稷，但在戰場上殺戮太重，以至遭受滅頂之災。勸五郎全心修佛，減輕罪孽。於是五郎從此出家，潛心修佛，爲免一身武藝失傳，便將楊家棍、楊家刀、楊家三十六路梨花槍等楊家傳統武術傳於楊家子弟。在此基礎上楊五郎還發展了其他的僧人也加入，也爲五臺山培養了一批護院武僧。
