段云鹏被带到警察局后，却异常硬气，一副打死不认罪的架势。段云鹏的表现让“军统”华北办事处的大特务谷正文非常喜欢，他积极拉拢段云鹏进入了“军统”。就这样，段云鹏成为了“军统”的一名骨干特务。
成为“军统”特务后，段云鹏在京津一带干过许多坏事，这其中尤其值得一提的有三件：
1946 年，段云鹏跟踪军调部中共代表团，试图趁机暗杀中共代表团的首席代表叶剑英，只是最后没有成功，但影响却不小。
1947 年，段云鹏利用上房技术，窃听到了中共北平电台，国民党保密局立即展开搜捕，中共北平地下电台遭到严重破坏。因为这件事的牵连，西安、承德、沈阳、兰州、天津、上海等处的中共地下电台也遭破坏，各处共抓捕中共地下党人达数百之多。为此，蒋介石还亲自飞到北平，对段云鹏予以嘉奖。
1949 年，段云鹏和他的徒弟崔铎一起，向北平前市长何思源家扔手雷。何思源被炸伤，何家的 6 个家人也因此丧命。