王安石罢相以后，宋神宗还把王安石定下的新法维持了将近十年。公元1085年，宋神宗病死，年才十岁的太子赵煦（音ｘù）即位，就是宋哲宗。哲宗年幼，由他祖母高太后临朝。高太后是一向反对新法的。她一临朝，就把反对新法最激烈的司马光召到东京担任宰相。
司马光是当时最有名望的大臣，陕州夏县（今山西夏县）人。他的名声，从他幼小的时候已经开始传开了。他七岁那年，就开始专心读书。不论是大伏暑天，或者数九寒冬，他总捧着书不放，有时候连吃饭喝水都忘了。他不但读书用功，而且很机灵。有一次，他跟小伙伴们在后院子里玩耍。院子里有一口大水缸，有个小孩爬到缸沿上，一不小心，掉到缸里。缸大水深，眼看那孩子快要没顶了。别的孩子们一见出了事，吓得一面哭喊，一面往外跑，找大人来救。司马光不慌不忙，顺手从地上拾起一块大石块，使尽力气朝水缸砸去。“砰”的一声，水缸破了，缸里的水流了出来，被淹在水里的小孩也得救了。
这件偶然的事情，使幼小的司马光出了名。东京和洛阳有人把这件事画成图画，广泛流传。
宋神宗在位的时候，司马光担任翰林学士。司马光和王安石本来是要好的朋友，后来王安石主张改革，司马光思想保守，两个人就谈不到一块儿去了。
王安石做了宰相以后，提出的一件件改革措施，司马光没有一件不反对。有一次，司马光向宋神宗提出要求取消青苗法，同时，以老朋友的资格，写了一封信，责备王安石侵犯其他官员的职权，惹是生非，搜刮财富，还拒不接受别人的意见。
王安石写了一封回信，对司马光的四条责难针锋相对地作了反驳。信里说：我受皇上的命令，改革法制，怎能说我侵犯别人职权；为国家办事，怎能说我惹是生非；为天下理财，怎能说是搜刮财富；驳斥错误的言论，怎能说拒绝意见。
司马光接到回信，气得要命。但是眼看王安石有皇帝撑腰，也无可奈何。最后，他辞去朝廷职务，离开京城，到了洛阳，表示不愿过问政事，关起门来写书了。
原来，司马光对历史很有研究，他认为治理国家的人，一定要通晓从古以来的历史，从历史中吸取兴盛、衰亡的经验教训。他又觉得，从上古到五代，历史书实在太多，做皇帝的人没有那么多时间看。于是，他很早就动手编写一本从战国到五代的史书。宋英宗在位的时候，他把一部分稿子献给朝廷。宋英宗觉得这本书对巩固王朝统治有好处，十分赞赏这项工作，专门为他设立一个编写机构，叫他继续编下去。