两人说笑几句，郭靖重提话头，说道：「我爹爹就只这麽一个遗命，杨铁心叔父临死之际也曾重托於我。可是於杨康兄弟与穆世姊份上，我实没尽了甚麽心。若我再不将过儿当作亲人一般看待，怎对得起爹爹与杨叔父？」言下长叹一声，甚有怃然之意。黄蓉柔声道：「好在个两孩子都还小，此事也不必急。将来若是过儿当真没甚坏处，你爱怎麽就怎麽便了。」
郭靖站起身来，深深一揖，正色道：「多谢相允，我实是感激不尽。」黄蓉也正色道：「我可没应允。我是说，要瞧那孩子将来有没有出息。」郭靖一揖到地，刚伸腰直立，听她此言，不禁楞住，随即道：「杨康兄弟自幼在金国王府之中，这才学坏。过儿在我们岛上，却决计坏不了，何况他这名字当年就是我给取的。他名杨过，字改之，就算有了过失，也能改正，你放心好啦。」黄蓉笑道：「名字怎能作数？你叫郭靖，好安静吗？从小就跳来跳去的像只大猴子。」郭靖瞠目结舌，说不出话来。黄蓉一笑，转过话头，不再谈论此事。
舟行无话，到了桃花岛上。郭芙突然多了二个年纪相若的小朋友，自是欢喜之极。
杨过服了黄蓉的解药後，身上馀毒便即去净。他和郭芙初见面时略有嫌隙，但小孩性儿，过了几日，大家自也忘了。这几天中，四人都在捕捉蟋蟀相斗为戏。
这一日杨过从屋里出来，又要去捉蟋蟀，越弹指阁，经两忘峰，刚绕过清啸亭，忽听得山後笑语声喧，忙奔将过去，只见郭芙和武氏兄弟翻石拨草，也正在捕捉蟋蟀。武敦儒拿著个小竹筒，郭芙捧著一只瓦盆。
武修文翻开一块石头，嗤的一响，一只大蟋蟀跳了出来。武修文纵身扑上，双手按住，欢声大叫。郭芙叫道：「给我，给我。」武修文拿起蟋蟀，道：「好罢，给你。」揭开瓦盆盖，放在盆里，只见这蟋蟀方头健腿、巨颚粗腰，甚是雄骏。武修文道：「这只蟋蟀定是无敌大将军，杨哥哥，你那许多蟋蟀儿都打它不过。」
杨过不服，从怀中取出几竹筒蟋蟀，挑出最凶猛的一只来与之相斗。斗得几个回合，那大蟋蟀张开巨口咬去，将杨过的那只拦腰咬住，摔出盆外，随即振翅而鸣，洋洋得意。郭芙拍手欢叫：「我的打赢啦！」杨过道：「别忙，还有呢。」可是他连出三蟀，尽数败下阵来，第三只甚至被巨蟀一口咬成两截。
杨过脸上无光，道：「不玩啦！」转身便走。忽听得後面草丛中叽叽叽的叫了三声，正是蟋蟀鸣叫，声音却颇有些古怪。武敦儒道：「又是一只。」拨开草丛，突然向後急跃，惊道：「蛇，蛇！」杨过转过身来，果见一条花纹斑烂的毒蛇，昂首吐舌的盘在草中。杨过拾起一块石子，对准了摔去，正中蛇头，那毒蛇扭曲了几下，便即死了。只见毒蛇所盘之旁有一只黑黝黝的小蟋蟀，相貌奇丑，却展翅发出叽叽之声。
郭芙笑道：「杨哥哥，你捉这小黑鬼啊。」杨过听出她话中有叽嘲之意，激发了胸中傲气，说道：「好，捉就捉。」当下将黑蟋蟀捉了过来。郭芙笑道：「你这只小黑鬼，要来干甚麽？想跟我的无敌大将军斗斗吗？」杨过怒道：「斗就斗，小黑鬼也不是给心欺负的。」将黑蟀放在郭芙的瓦盆之中。
说也奇怪，那大蟋蟀见到小黑蟀竟有畏惧之意，不住退缩。郭芙与武氏兄弟大声吆喝，为大蟋蟀加劲助威。小黑蟋蟀昂头纵跃而前，那大蟀不敢接战，想跃出盆去。小黑蟀也即跃高，在半空咬住大蟀的尾巴，双蟀齐落，那大蟋蟀抖了几抖，翻转肚腹而死。原来蟋蟀之中有一种喜与毒虫共居，与蜈蚣共居的称为「蜈蚣蟀」，与毒蛇共居的称为「蛇蟀」，因身上染有毒虫气息，非常蟀所能敌。杨过所捉到的小黑蟀正是一只蛇蟀。
郭芙见自己的无敌大将军一战即死，很不高兴，转念一想，道：「杨哥哥，你这头小黑鬼给了我罢。」杨过道：「给你麽，本来没甚麽大不了，但你为甚麽骂它小黑鬼？」郭芙小嘴一撇，悻悻的道：「不给就不给，希罕吗？」拿起瓦盆一抖，将小黑蟀倒在地上，右脚踹落，登时踏死。杨过又惊又怒，气血上涌，满脸胀得通红，登时按捺不住，反手一掌，重重打了她个耳光。
郭芙一楞，还没决定哭是不哭。武修文骂道：「你这小子打人！」向杨过胸口就是一拳。他家学渊源，自小得父母亲传，武功已有相当根基，这拳正中杨过前胸，力道著实不轻。杨过大怒，回手也是一拳，武修文闪身避过。杨过追上扑击，武敦儒伸脚在他腿上一钩，杨过扑地倒了。武修文转身跃起，骑在他身上。兄弟俩牢牢按住，四个拳头猛往他身上击去。
杨过虽比二人大了一两岁，但双拳难敌四手，武氏兄弟又练过上乘武功，杨过却只跟穆念慈学过一些粗浅武功，不是二人对手，当下咬住牙关挨打，哼也不哼。武敦儒道：「你讨饶就放你。」杨过骂道：「放屁！」武修文砰砰两下，又打了他两拳。郭芙在旁见武氏兄弟为她出气，心下甚喜。
武氏兄弟知道若是打他头脸，有了伤痕，待会被郭靖、黄蓉看到，必受斥责，是以拳打足踢，都招呼在他身上。郭芙见打得厉害，有些害怕，但摸到自己脸上热辣辣的疼痛，又觉打得痛快，不禁叫道：「用力打，打他！」武氏兄弟听她这般呼叫，打得更加狠了。
杨过伏在地下，耳听郭芙如此叫唤，心道：「你这丫头如此狠恶，我日後必报此仇。」但觉腰间、背上、臀部剧痛无比，渐渐抵受不住，武氏兄弟自幼练功，拳脚有力，寻常大人也经受不起，若非杨过也练过一些内功，早已昏晕。他咬牙强忍，双手在地下乱抓乱爬，突然间左手抓到一件冰凉滑腻之物，正是适才砸死的毒蛇，当即抓起，回手挥舞。
武氏兄弟见到这条花纹斑烂的死蛇，齐声惊呼。杨过乘机翻身，回手狠狠一拳，只打得武敦儒鼻流鲜血，当即爬起身来，发足便逃。武氏兄弟大怒，随後追去。郭芙要看热闹，连声叫唤：「捉住他，捉住他！」在後追赶。杨过奔了一阵，一回头，只见武敦儒满脸鲜血，模样甚是狠恶，心知若是给两兄弟捉住了，那一顿饱打必比适才更是厉害，当下不住足的奔向试剑峰山脚，直向峰上爬去。
武敦儒鼻上虽吃一拳，其实并不如何疼痛，但见到了鲜血，又是害怕，又是愤怒，提气急追。杨过越爬越高，武氏兄弟丝毫不肯放松。郭芙却在半山腰里停住脚步，仰头观看。杨过奔了一阵，眼见前面是个断崖，已无路可走。当年黄药师每创新招，要跃过断崖，再到峰顶绝险之处试招，杨过却如何跃得过？他心道：「我纵然跳崖而死，也不能让这两个臭小子捉住再打。」转过身来，喝道：「你们再上来一步，我就跳下去啦！」武敦儒一呆，武修文叫道：「跳就跳，谁还怕了你不成？料你也没胆子！」说著又爬上几步。
杨过气血上冲，正要涌身下跃，瞥眼忽见身旁有块大石，半截搁在几块石头之上，似乎安置得并不牢稳。他狂怒之下，那里还想到甚麽後果，伸手将大石下面的几块石头搬开，那大石果然微微摇动。他跃到大石後面，用力推去，大石幌了两下，空隆一响，向山腰里滚将下来。
武氏兄弟见他推石，心知不妙，吓得脸上变色，急忙缩身闪避。那大石带著无数泥沙，从武氏兄弟身侧滚过，砰砰巨响，一路上压倒许多花木，滚入大海。武敦儒心下慌乱，一脚踏空，溜了下来，武修文急忙抱住。两人在山坡上站立不住，搂作一团的滚将下来，翻滚了六七丈，幸好给下面一株大树挡住了。
黄蓉在屋中远远听得响声大作，忙循声奔出，来到试剑峰下，但见泥沙飞扬，女儿藏在山边草里，吓得哭也哭不出来，武氏兄弟满头满脸都是瘀损鲜血。黄蓉上前抱起女儿，问道：「甚麽事？」郭芙伏在母亲怀里，哇的一声哭了出来，哭了一会，才抽抽噎噎的诉说杨过怎样无理打她、武氏兄弟怎样相帮、杨过又怎样推大石要压死二人。她将过错尽数推在杨过身上，自己踏死蟋蟀、武氏兄弟打人之事，却全瞒过了不说。黄蓉听罢，呆了半晌，见到女儿半边脸颊红肿，那一掌打得确是不轻，心下甚是怜惜，不住口的安慰。
这时郭靖也奔了出来，见到武氏兄弟的狼狈情状，问起情由，好生著恼，又怕杨过有甚不测，忙奔上山峰，可是峰前峰後找了一遍，不见影踪。他提高嗓子大叫：「过儿，过儿。」这几下高叫声传数里，但是终不见杨过出来，也不闻应声。郭靖等了一会，越加担心，下得峰来，划了小艇环岛巡绕寻找，直到天黑，杨过竟是不知去向。
原来杨过推下大石，见武氏兄弟滚下山坡，遥遥望见黄蓉出来，心知这番必受重责，当下缩身在岩石的一个缝隙之中，听得郭靖叫唤，却不敢答应。他挨著肌饿，躲在石缝中动也不动，眼见暮色苍茫，大海上渐渐昏黑，四下里更无人声。又过一阵，天空星星闪烁，凉风吹来，身上大有寒意，他走出石缝，向山下张望，但见精舍的窗子中透出灯光，想像郭靖夫妇、柯镇恶、郭芙、武氏兄弟六人正在围坐吃饭，鸡鸭鱼肉摆了满桌，不由咽了几口唾抹。但随即想到，他们必在背後数说责骂自己，不禁气愤难当。黑夜中站在山崖上的海风之中，只想著一生如何受人欺辱，但觉尘世间个个对他冷眼相待，思潮起伏，满胸孤苦怨愤，难以自已。
其实郭靖寻他不著，那有心情吃饭？黄蓉见丈夫烦恼，知道劝他不听，也不吃饭，陪他默默而坐。次日天没亮，两人又出外找寻。
杨过饿了半日一晚，第二天一早，再也忍耐不住，悄悄溜下山峰，在溪边捉了几只青蛙，剥了皮，找些枯叶，要烧烤来吃。他在外流浪，常以此法充饥渡日，此时也怕被郭靖、黄蓉见烟火，当下藏在山洞中烧柴，一将蛙腿烤黄，立即踏灭柴火，张口大嚼。耳听得郭靖叫唤「过儿，过儿。」心想：「你要叫我出去打我，我才不出来呢。」
当晚他就在山洞中睡了，迷迷糊糊的躺了一阵，忽见欧阳锋走进洞来，说道：「孩儿，我来教你练武功，免得你打不过武家那两个小鬼。」杨过大喜，跟他出洞，只见他蹲在地下，咕咕咕的叫了几声，双掌推出。杨过跟著他便练了起来，只觉发掌踢腿，无不恰到好处。忽然欧阳锋挥拳打来，他闪避不及，砰的一下，正中顶门，头上剧痛无比，大叫一声，跳起身来。
头上又是砰的一下，他一惊而醒，原来适才是做了一梦。他摸摸头顶，撞起了一个疙瘩，甚是疼痛，不禁叹了口气，寻思：「料来爸爸此刻已经伤势痊愈，从大钟底下出来了。不知他甚麽时候来接我去，真的教我武功，也免得我在这里受人白眼，给人欺辱。」走出洞来，望著天边，但见稀星数点挂在树梢，回思适才欧阳锋教导自己的武功，却一点也想不起来，他蹲下身来，口中咕咕咕的叫了几声，要将欧阳锋当日在嘉兴所传的蛤蟆功口诀用在拳脚之上，但无论如何使用不上。他苦苦思索，双掌推出，梦中随心所欲的发掌出足，这时竟已全然不是这麽一回事了。
他独立山崖，望著茫茫大海，孤寂之心更甚，忽听海上一声长啸隐隐传来，叫著：「过儿，过儿。」他不由自主的奔下峰去，叫道：「我在这儿，我在这儿。」他奔上沙滩，郭靖远远望见，大喜之下，急忙划艇近岸，跃上滩来。星光下两人互相奔近。郭靖一把将杨过搂在怀里，只道：「快回去吃饭。」他心情激动，语音竟有些哽咽。回到屋中，黄蓉预备饭菜给郭靖和杨过吃了，大家对过去之事绝口不提。
次日清晨，郭靖将杨过、武氏兄弟、郭芙叫到大厅，又将柯镇恶请来，随即向四个孩子向江南六怪的灵住磕过了头，向柯镇恶道：「大师父，弟子要请师父恩准，跟你收四个徒孙。」柯镇恶喜道：「那再好不过，我恭喜你啦。」郭靖命杨过与武氏兄弟先向柯镇恶磕头，再对他夫妇行拜师之礼。郭芙笑问：「妈，我也得拜麽？」黄蓉道：「自然要拜。」郭芙笑嘻嘻的也向三人磕了头。
郭靖正色道：「从今天起，你们四人是师兄弟啦……」郭芙接口道：「不，还是师兄妹。」郭靖横了女儿一眼，道：「爹没说完，不许多口。」他顿了一顿，说道：「自今而後，你们四人须得相亲相爱，有福共享，有难同当。如再争闹打架，我可不能轻饶。」说著向杨过看了一眼。杨过心想：「你自然偏袒女儿，以後我不去惹她就是。」
柯镇恶接著将他们门中诸般门规说了一些，都是一些不得恃强欺人、不得滥伤无辜之类，江南七怪门派各自不同，柯镇恶也记不得那许多，反正也是大同小异。
郭靖说道：「我所学的武功很杂，除了江南七侠所授的根基之外，全真派的内功，桃花岛和丐帮东南两大宗的武功，都曾练过一些。为人不可忘本，今日我先授你们柯大师祖的独门功夫。」
他正要亲授口诀，黄蓉见杨过低头出神，脸上有一股说不出的怪异之色，依稀是杨康当年的模样，不禁心中生憎，寻思：「他父亲虽非我亲手所杀，但也可说死在我的手里，莫养虎为患，将来成为一个大大的祸胎。」心念微动，已有计较，说道：「你一个人教四个孩子，未免太也辛苦，过儿让我来教。」郭靖尚未回答，柯镇恶已拍手笑道：「那妙极啦！你两口子可以比比，瞧谁的徒儿教得好。」郭靖心中也喜，知道妻子比己聪明百倍，教导之法一定远胜於己，当下没口子称善。
郭芙怕父亲严峻，道：「妈，我也要你教。」黄蓉笑道：「你老是缠著我胡闹，功夫一定学不成，衰是让爹教你的好。」郭芙向父亲偷看一眼，见他双目也正瞪著自己，急忙转头，不敢再说。
黄蓉对丈夫道：「咱们定个规矩，你不能教过儿，我也不能教他们三人。这四个孩子之间，更加不得互相传授，否则错乱了功夫，有损无益。」郭靖道：「这个自然。」黄蓉道：「过儿，你跟我来。」杨过厌憎郭芙与武氏兄弟，听黄蓉这麽说，得以不与他们同场学艺，正合心意，当下跟著她走向内堂。
黄蓉领著他进了书房，从书架上拿下一本书来，道：「你师父有七位师父，人称江南七怪，大师父就是柯公公，二师父叫作妙手书生朱聪，现下我先教你朱二师祖的功夫。」说著摊开书本，朗声读道：「子曰：学而时习之，不亦说乎？有朋自远方来，不亦乐乎？」原来那是一部「论语」。杨过心中奇怪，不敢多问，只得跟著她诵读著识字。
一连数日，黄蓉只是教他读书，始终绝口不提武功。这一日读罢了书，杨过独自到山上闲走，想起欧阳锋现下不知身在何处，思念甚殷，不禁倒转身子，学著他的样子旋转起来。转了一阵，依照欧阳锋所授口诀逆行经脉，只觉愈转愈是顺遂，一个翻身跃起，咕的一声叫喊，双掌拍出，登觉遍体舒泰，快美无比，立时出了一身大汗。他可不知只这一番练功，内力已有进展。欧阳锋的武功别创一格，实是厉害之极的上乘功夫，杨过悟性奇高，虽然那日於匆匆之际所学甚少，但如此练去，内力也有所进益。
自此之後，他每日跟黄蓉诵读经书，早晨晚间有空，自行到僻静山边练功。他倒不是想从此练成一身惊人武艺，只是每练一次，全身总是说不出的舒适，到後来已是不练不快。
他暗自修练，郭靖与黄蓉毫不知晓。黄蓉教他读书