宗泽早年的经历与大部分宋朝文官差不多，通过科举考试得到进士功名，从此进入仕途，开始一步一个脚印在官场熬资历。宗泽为官清廉、体恤民情，因此在地方任职期间获得了很好的口碑。不过，北宋末年朝政都被权奸及其党羽所把持，一身正气的宗泽与他们格格不入，所以他的仕途也只能长期处于被边缘化的位置。
宗泽真正走上历史舞台是在北宋末年的时候，当时他已是一个年过花甲的老人了，可时代的洪流却把他推上了风口浪尖。
1126年，金国十万大军入侵北宋。金军分遣数千铁骑攻打磁州，时任磁州知州的宗泽身披战甲亲自登城指挥作战。磁州全体军民在宗泽的带领下奋起反击，很快就将这支金军打得落荒而逃。这是宋军第一次击败金军，虽然金军阵亡仅数百人，但却打破了金军不可战胜的神话，极大鼓舞了河朔地区宋朝军民的抗金斗志。
不久，宋钦宗的弟弟、康王赵构奉命出使金国。在经过磁州时，宗泽果断将赵构留下，因为一旦落入金国人的手中，再想全身而退就很难了。后来的事实证明，正是宗泽的这次劝说，才为大宋王朝的延续留下了血脉。
当时金军将大部分兵力都投入到围攻北宋京师开封城的行动中，后方留下了很大的空档。宗泽就利用这一点在敌后战场发起突袭，并取得十三战皆胜的战绩。
宗泽认为金军只是纸老虎，并非不可战胜，因此建议赵构以天下兵马大元帅的名义率领大军到开封勤王。可是赵构一方面是被金军吓破了胆，另一方面可能也是存有私心。所以他不顾宗泽的建议，带着勤王大军绕过开封，尽量避免同金军接触。宗泽也因此被疏远。
1127年初，开封城被金军攻破，宋徽宗、宋钦宗都成了金军俘虏，北宋灭亡。宗泽得知这个消息后，立即打算在金军班师回朝的途中进行阻截，夺回徽、钦二帝。可是宗泽的计划得不到赵构等人的支持，勤王兵马无一到达，阻截计划被迫终止。同年，赵构在南京应天府(今河南省商丘市)称帝，是为宋高宗。
在经过金军的大肆劫掠后，开封府已基本沦为一片废墟。但作为北宋国都，开封在宋人心目中的地位毋庸置疑。为了鼓舞士气，宋高宗任命宗泽为东京留守、知开封府，全权由他主持北方的抗金工作。不过，这份委任虽然听起来权限很高，但宋高宗却没有将自己身边的军队拨给宗泽指挥，而是让宗泽自行解决征兵问题。
北宋灭亡后，中原地区盗匪四起，其中几股势力特别大的盗匪团伙在短时间内就聚集了数十万人马。不过，盗匪虽然人数众多，但基本都是乌合之众，不仅人心涣散，而且内部矛盾重重。宗泽利用这一点来游说盗匪集团的首领，并晓之以家国大义，很快就将数十万兵马都收编至他的麾下。值得一提的是，当时由岳飞带领的半官方半民间武装力量也在这一时期投奔到宗泽军中。宗泽在此前已经认识岳飞，知道这是一个非常有才干的年轻人，因此对他委以重任。可以说在岳飞成长为一代“战神”的路上，宗泽发挥的作用至关重要。
在宗泽的组织下，开封附近集结了近百万大军。开封城混乱不堪的秩序也逐渐得到了恢复。宗泽吸取此前金军一路南下，势如破竹的教训，下令军队从开封至黄河沿线修筑成片的防御工事。
金国担心宋朝恢复元气，于是派“四太子”完颜宗弼(别名金兀术)率军南下，打算将宗泽麾下刚刚组织起来的抗金武装力量扼杀在摇篮中。然而这一次，金军却被打得落荒而逃。自此，宗泽的威名开始深入人心，金国人在谈到宗泽的时候既尊敬又害怕，称呼他为“宗爷爷”。
由于抗金形势一片大好，宗泽便建议宋高宗回到开封，坐镇京师，指挥军队渡过黄河讨伐敌人，迎回被金国掳走的徽、钦二帝。可是，宋高宗却对宗泽的建议置若罔闻。这其中的理由并不复杂，你把二帝从敌人的魔爪中救出，那么他这个南宋开国皇帝的位置又往哪儿摆呢