20多年前，也就是卡尔扎伊刚念完中学的时候，苏联入侵了。卡尔扎伊随家人逃离了阿富汗，流亡巴基斯坦。在巴基斯坦，卡尔扎伊的父亲成为阿富汗抵抗苏联入侵的圣战领导人之一，卡尔扎伊协助父亲做了许多工作。也是在那期间，卡尔扎伊去印度上了大学，大学毕业，获得两个大学的学士学位。
1992年，亲苏的纳吉布拉政权垮台，年轻的卡尔扎伊担任过拉巴尼政权时期的外交部副部长，成为伯帕扎伊部落在政府中的唯一代表。他同前国王查希尔是好朋友，与塔利班也有过接触。1996年，以宗教学生为主的塔利班夺取了阿富汗政权，攻占了首都喀布尔。开始，卡尔扎伊对给阿富汗带来了和平的塔利班政权很支持，但是很快，塔利班的宗教极端政策开始把卡尔扎伊推上了一条反塔利班的道路。
塔利班掌握政权后曾邀请卡尔扎伊担任阿富汗驻联合国代表，卡尔扎伊对此婉言谢绝。卡尔扎伊性情温和，喜欢思考，对宗教、妇女和社会问题都持温和的观点，他支持妇女的权利，反对宗教极端政策，因而和塔利班政权格格不入。