杨过自幼没有父亲，母亲也在他十一岁那年染病身亡。穆念慈临死之时，说他父亲死在嘉兴铁枪庙里，要他将她遗体火化了，去葬在嘉兴铁枪庙外。杨过遵奉母亲遗命办理，从此流落嘉兴，住在这破窑之中，偷鸡摸狗的混日子。穆念慈虽曾传过他一些武功的入门功夫，但她自己本就苦不甚高，去世时杨过又尚幼小，实是没能教得了多少。这几年来，杨过到处遭人白眼，受人欺辱，后又几度辗转，先是拜了欧阳锋为义父，学了蛤蟆功，后又被郭靖黄蓉夫妇所收养，不可谓不凄苦。因此有了杨过孤僻怪异的性子。