琳认为得了天助，打算直取扬州，侯瑱等慢慢从芜湖出来跟在他后面
等到交战时，西南风反被侯瑱利用，王琳让士兵往侯瑱的船上扔火炬（史书上这么说，但王琳一辈子几乎都在打水战，不会犯这样的低级错误，极有可能是他手下私自行动），因为逆风，反而将自己的兵船全部烧毁
侯瑱趁机大破王琳军，军士溺水而死的有十分之二、三，其余的都弃船上岸，被侯瑱军队斩杀殆尽
王琳败得虽然莫名其妙，但终究是败了，被侯瑱捡了个大便宜
同时北齐援军也是大乱，刘伯球、慕容子会都被抓获（援军不识地理，全部陷入泥坑，无力吐槽），侯瑱军斩俘数以万计，王琳与北齐援军的军用物资和兵器也全被缴获
王琳乘坐舴艋小船突围而出，抵达湓城，想收拢散失流离的军士，但再也没有人愿意归附他，他只好率妻妾及左右亲信十多人出逃，萧庄也在侍中袁泌、御史中丞刘仲威等人的护送下抵达北齐边境，与王琳会合，一同逃往北齐
然后高洋也因为酗酒病死了，北齐鲜卑勋贵与北方世家的第一波内讧开始
这一幕急转直下，看得当时人和后人都莫名其妙，只能总结一句：时也命也运也
王琳可谓是成也兄弟，败也兄弟
皇建二年（公元561年）正月，北齐孝昭帝高演派王琳到合肥，纠集旧部，再图进取
平心而论，高演是有作为了，他此时正在研究卢叔武的《平西策》，惊为天人，打算让王琳坐镇江淮，然后其他力量集中起来对付北周
这个策略是正确的
王琳绝望中逢春，于是大喜，开始修理战船，分派人去招募淮南民众，这些人都愿意和他同心协力（为什么北齐人却愿意听王琳使唤呢，后面会说）
陈朝的合州刺史裴景晖（一作裴景徽），是王琳兄长王珉的女婿，他请求让他家里的奴仆为王琳充当北齐军的向导，高演委派王琳和行台左丞卢潜率兵前去接应
王琳迟疑不决，裴景徽担心自己求作内应的事泄漏，便投奔北齐
齐孝昭帝赐王琳印封文书让他镇守寿阳，准许他部下将帅还都跟从他，任王琳为骠骑大将军、开府仪同三司、扬州刺史，封会稽郡公，镇守寿阳
又增发给王琳军饷，赐一班铙吹乐器王琳率军严阵以待，准备随机而动适逢当时陈朝与北齐结好，北齐便让王琳以后再作打算
然后就没有然后了
因为高演坠马死去（极大可能是高湛联合鲜卑贵族做局暗杀，因为高演登基后十分重用北方汉人世家，引人不满）
王琳在寿阳，与行台尚书卢潜不和，二人屡次产生矛盾，他因而被召还邺城
北齐武成帝高湛草包一个，自然是对王琳置而不问，任命王琳为沧州刺史，后又任特进、侍中，有名无实，龙游浅滩
适逢武