宋军布置刚刚结束，金兵已经开始渡江。完颜亮亲自挥动着小红旗指挥。几百艘金军大船迎着江风，满载着金兵向南岸驶来。没有多少时间，金兵已经陆续登岸。
虞允文命令部将时俊率领步兵出击。时俊挥舞着双刀，带头冲向敌阵。兵士们士气高涨，拼命冲杀。金兵进军以来，从没有遭到过抵抗，一下子碰到这样强大的敌手，就都垮下来了。
江面上的宋军战船，也向金军的大船冲去。宋军的战船虽小，但是很坚实，就像尖利的钢刀一样，插进金军的船队，把敌船拦腰截断。敌船纷纷被撞沉。敌军一半落在水里淹死，一半还在顽抗。
太阳下山了，天色暗了下来，江面上的战斗还没有结束。这时候，正好有一批从光州（今河南潢州）逃回来的宋兵到了采石。虞允文要他们整好队伍，发给他们许多战旗和军鼓，从山后面摇动旗帜，敲着鼓绕到江边来。江上的金兵听到南岸鼓声震天，看到山后无数旗帜在晃动，以为是宋军大批援兵到来，纷纷逃命。
金军遭到意料不到的惨败，气得完颜亮暴跳如雷，一肚子怒气全发泄在兵士身上，把逃回去的兵士全拷打死了。
虞允文料想完颜亮不会甘心失败。当天夜里，就把战船分为两队，一队开到上游，一队留在渡口。到第二天天蒙蒙亮的时候，完颜亮果然又派金军渡江，虞允文指挥两队战船夹击。金兵尝过虞允文的厉害，没心思反抗。三百只大船被困在江心和渡口，宋军放起一把火，把敌船全烧了。
完颜亮在采石渡江不成功，又把他们的兵士乱杀了一批，才带着留下的人马到扬州去，想到那里去渡江。
宋军在采石大胜之后，主将李显忠才带兵到达。李显忠了解到虞允文指挥作战的情况，十分钦佩。
虞允文对李显忠说：“敌人在采石失败之后，一定会到扬州去渡江。对岸镇江那边没准备，情况很危险。您在这儿守着，我到那边去看看。”
李显忠马上拨给虞允文一支人马，由虞允文率领前往镇江。
镇江原来是由老将刘锜防守。那时候，刘锜已经病得不能起床了。虞允文到了镇江，先去探望刘锜。刘锜躺在床上，紧紧拉着虞允文的手，心情沉重地说：“国家养兵三十年，没有立过一点战功，想不到立大功的还是靠您这位书生，我们当将军的实在太惭愧了。”
虞允文安慰他一阵，就回到军营。他命令水军在江边演习。宋军制造了一批车船，由兵士驾驶，在江边的金山周围巡逻，来回像飞一样。北岸的金兵看了十分吃惊，赶快报告完颜亮。完颜亮大怒，把报告的人打了一顿板子。
这时候，金兵打了几次败仗，都害怕作战。有些将士暗地里商量逃走，完颜亮发现后，下了命令：兵士逃亡的杀死将领，将领逃亡的杀死主将；并且宣布第二天全军渡江，畏缩不前的处死。
金军将士对完颜亮的残酷统治再也忍受不住，还没等完颜亮发出渡江命令，当天夜里拥进完颜亮的大营，把他杀死。
完颜亮一死，金兵就撤退了。
完颜亮带兵南侵的时候，金朝内部也出了事。一些不满完颜亮统治的大臣，另外拥戴完颜雍为皇帝，这就是金世宗。采石大战后，金世宗为了稳定内部，派人到南宋议和，宋金战争又暂时停了下来。