似乎一开始就诸事不顺。查理曼牺牲惨重才攻陷几个城镇，他本以为西班牙的基督徒们渴望自由，必定会提供援助，想不到这些基督徒们的反应却相当冷淡。事实上，法、西两国边界比利牛斯山区的巴斯克人（Basques），还阻止查理曼军队的前进，查理曼一怒之下即摧毁了巴人潘普洛纳市（Pampeluna）的城墙。此外，许多*教徒也不急着推翻目前的统治者，萨拉戈萨城（Saragossa）的统治者也没有依照当初的承诺，把这个重要的城市献给查理曼。因此，闷闷不乐的查理曼，在几个月之后决定撤军。当时据传撒克逊人准备再度滋事，这个消息更促使查理曼下达撤军的命令。士兵们又饿又累地攀越比利牛斯山，但他们仍显得趾高气昂。他们愈接近山区，路径变得愈可怕，山区树丛浓密，狭窄的道路两旁是锯齿状的尖锐山岩，但是士兵们仍显得士气高昂。在他们身上看不到战败者的畏缩神态，他们也不怕漆黑的森林，不管怎么说，他们毕竟是法兰克人。
然而，些许疑惧之心或许可以帮助他们逃过一劫。一天晚上，后卫部队正在龙塞斯瓦列斯（Roncesvalles）的小径上扎营时，听到上面传来一阵阵奇怪的声音，忽然间，山崖上滚下一个巨大的圆石，撞毁了一辆补给马车。数分钟内，满腹狐疑的法兰克士兵被一群凶猛的巴斯克游击队击溃，查理曼曾拆毁巴斯克人的城墙，现在他们打算报一箭之仇。法兰克士兵们试图击退敌军，但他们的长剑对诡诈的巴斯克人根本派不上用场。巴斯克人不断由山崖上推下巨石且射箭攻击，本来法兰克士兵们可以请求前导部队支援，但是个个骄傲的士兵中没有一个愿意示弱，等到他们吹号角求援时，一切都已经太迟了。
查理曼一直在军队的最前方，等到他赶到出事地点，战斗早已结束。山径四周一片死寂，偶尔传来一声声微弱的呻吟，阵亡将士和马匹的尸体遍布各处，在这些被乱石打死的尸首上，已找不到士兵们宝贵的长剑，现场还可以看到补给马车的残骸。
查理曼不发一语地注视死者，而且不时跪在他认识的阵亡士兵身旁低声哭泣。死者之中有太多是查理曼的朋友，后卫部队都是查理曼所册封的伯爵，对查理曼而言，他们不仅是勋爵，更是他的朋友。查理曼曾和他们一起征战四方，一起打猎，一起欢宴，他们是查理曼最亲爱的朋友，但现在全都阵亡了。
查理曼带着沉重的心情离开龙塞斯瓦列斯，他第一次觉得这么难过，他不知道自己哪里冒犯了上帝，竟遭到这等责罚。但是查理曼的噩运并没有到此为止。
希尔德佳迪在查理曼远征西班牙时，产下一对双胞胎兄弟——路易（Louis）和洛塔尔（Lothar）。查理曼回国后的冬天洛塔尔夭折，接着战场上传来更多战败的消息。
查理曼在得知撒克逊人再度展开猛烈攻击之后，随即自西班牙撤军回国，查理曼以为前几年的辉赫战绩已解决撒克逊人的问题，但他显然是错了。几个月内，撒克逊人摧毁了查理曼在卡尔斯堡（Karlsburg）建造的要塞；突袭法兰克城镇；焚烧教堂；同时还屠杀妇女和孩童。最糟的是，盛传维杜金德已自丹麦返回法兰克，而这一波攻击行动，据说皆由维杜金德授意。
公元七八二年，查理曼开始计划反攻，但是他看得出来，当时并非出兵的理想时机，他的军队仍需要更多时间来备战。尽管如此，负责领军的法兰克勋爵们却没有耐心等候，他们义愤填膺，早就想报复，他们眼中只看到驻扎在圣多山（Suntel Mountain）的一大群撒克逊人，终于他们无视于查理曼的命令，决定展开攻击行动。
结果是龙塞斯瓦列斯的悲剧再度上演。法兰克勋爵们太过自信，轻率地进攻，并没有等后援部队提供协助。他们匆促的决定惹来杀身之祸，查理曼旗下大部分的勋爵和将官，在这次突袭中惨遭屠杀。法兰克士兵们的骄傲自满，再一次使他们赔上了性命。
当查理曼听到圣多山之役的噩耗时，心情突生巨变。龙塞斯瓦列斯的悲剧使他伤心欲绝，几个月来不断自省，问自己到底做错了什么事情，竟带给他的子民，如此残酷的命运。但是，在这个时候，查理曼心中充满了怒火，而非伤痛。他不再抱着赎罪的心态，而只想报仇雪耻。查理曼的性情自此由宽容转为严苛，而这样绝不宽怠的个性持续了十年才逐渐消失。
查理曼把所有一年前宣誓效忠法兰克的撒克逊贵族传唤到凡尔登（Verden，今德国北部），命令他们供出最近一连串攻击行动的主谋者姓名，这项要求无异是逼迫贵族们出卖同胞。根据当时的荣誉法则，胁迫一个人背叛同胞等于是夺走一个人的生命，两者皆被视为残酷不仁之举。贵族们一开始都保持沉默，但是查理曼毫不留情，威胁要杀死不肯招供的人，贵族们只好供出数千个涉嫌兴战的叛乱分子。
查理曼把这些嫌犯传唤到面前，当着这些人的同胞，将他们斩首示众。一天之内，将近四千五百名撒克逊人身首异处，同时有更多人被贬为贱民。
尽管查理曼可以把此事视为个人的一次胜利，但这件事情却毫无值得庆祝之处。事情结束后，随之而来的不是欢宴，而是一片沉寂。这些早先急欲复仇的查理曼臣子，此刻都对查理曼的残暴大感震慑。
此时，凡尔登传来更多悲剧。查理曼的母亲和爱妻希尔德佳迪，在公元七八三年相继过世。虽然查理曼随即再婚，但是他的第四任妻子斐斯卓达（Fastrada），与恬静、温顺的希尔德佳迪很不相同，斐斯卓达喜欢抱怨、索求无度，她对查理曼暴戾的个性，产生不了什么正面的影响力。查理曼早年幸福的家庭生活，以及连战皆捷的征服行动，至此似乎宣告结束。