1949年秋，伴随着开国大典的礼炮声，北京城一片欢腾，查探间谍工作也在紧锣密鼓地进行着。在土道堂胡同，刚接手老派出所的年轻派出所所长肖大力，在忙着维持群众示威秩序的时候，遇到了熟悉武器的老师冯京波，引起了他的怀疑。为了弄清的身份，萧大张旗鼓地搬进了土道胡同15号院，与做了邻居。冯的真实身份确实是一名潜伏的国民党特务，代号“5182”。恶霸四王艳给他发了一封聘书，并接受了“白眼镜”的命令。深夜，“白眼镜”冯前来解释任务时，他的间谍生涯开始了。"白眼镜“冯被送到电台的时候，被肖大力等人打成重伤，临死前只说了5182个字。萧强烈认为冯有重大嫌疑，以便关注四燕的下落，旁敲侧击。曾经在妓院当女佣的大美子，参加了夜校的识字班。她很欣赏冯老师的才华，经常主动帮他做家务。冯，为了掩盖自己的身份，请大力保护媒体，嫁给大梅子。大力找大眉儿说话，旁敲侧击，说冯是间谍，但大眉儿自觉出身低微，这桩婚事完全由大力决定。
萧大力无意中听到从冯家传来的音乐作为联系码，他买了一台短波收音机。他煞费苦心地研究它。他吃饭睡觉的时候也没忘记琢磨那首叫《展览会上的图片》的歌。在所有人眼里，他好像着了魔。冯从妻子口中得知此事，不禁暗暗震惊。他知道自己处境艰难，不得不悄悄应对。他谎称在夜壶里挖出了一个金矿，没收了他活动的资金，被评为抗美援朝积极分子。冯京波认识了校长的女儿许小羽，两人一见如故。小林钦佩冯的才华，冯也爱上了美丽博学的小林。他们两个去湖上划船了。面对小林炽热的目光，冯开心的时候感到深深的痛苦。他伤心地说自己是个有罪的人，准备自首，但在巨大的努力面前显得有些尴尬。到了晚上，冯突然不见了，强烈而紧张地以为自己要潜逃了。敏感的雅琴径直去了小余的宿舍，碰巧撞见了出轨的情侣。事发时，冯的家里一片狼藉。大眉态度坚决，想和那个毁了自己家的女人“打脑袋”。冯终于鼓足勇气和她离婚，却遭到大礼等人的指责和阻挠。校长甚至威胁要开除他，拒绝和他离婚。愤怒而又大力地把冯关在厕所里，让他反思历史问题。静波和小林突然被迫分手。
冯京波，一个受到大家称赞的好老师，在学校里从来没有任何言行。他不能大力找出自己的缺点，他很无奈。街道组织大家学习宪法，请冯给大家讲解。冯关心的是镇压反革命的规定。特务身份的重压让冯活得隐忍，使他在以往的运动中避免了灾难。因为他在任何地方都很善良，乐于助人，所以被评为该地区的劳动模范。坚信冯是特务的肖大力被诬告为“特务”送往劳改农场，自杀。大眉无意中发现了冯的聘书，偷偷烧掉了。
四十年后，肖大力又穿上了警服，他依然止不住地注视着冯的一举一动。这时，冯已经从一个好老师变成了一个好校长。他真的感受到了坦荡的快感，同时也感受到了石头在他心中的分量。肖大力的儿子辛玛特和冯京波的女儿一起长大，但由于父母的不满，他们没能在一起。令冯小刚感到惊讶的是，过去给冯小刚一封聘书的司燕，现在成了海外合作项目的投资人。萧轰轰烈烈的铮铮铁骨让冯感到无地自容，是萧的行动让冯明白了共产党。冯终于悔悟，写了一封投降书给大理，请求他原谅“昨日之仇”，并在女儿的搀扶下走进了公安部的大门。