狄仁杰第二次出任宰相期间，朝廷又大肆征兵戍守安西四镇，老百姓不堪其苦，怨声载道。

安西四镇，是指由安西都护府统辖的西域四个军镇。

话说，贞观十四年八月，唐太宗灭高昌国，九月，于西州交河城置安西都护府，由该都护府负责管理西域地区军政事务。贞观二十年六月，西突厥乙毗射匮可汗请和亲，唐太宗即索要其属下割龟兹、于阗、疏勒、朱俱婆﹑葱岭五国作为聘礼。贞观二十二年（公元648年），唐朝开始派遣军队进驻龟兹，并将安西都护府自西州交河城移至龟兹国都城，并在龟兹、焉耆、于阗、疏勒四城修筑城堡，建置军镇，统一由安西都护兼统，这就是最初“安西四镇”的由来。

因为这时候的西域，北有突厥，南有吐蕃，有了安西都护府和四镇的障护，唐朝才得以控制着西域，控制着丝绸之路。

永徽元年，唐高宗抱着“务在养人，不在广地”的消极思想，宣布罢弃四镇，安西都护府随之迁回到原址西州。

四镇一撤，唐朝的统治范围大为收缩，西突厥阿史那贺鲁则趁机发起叛乱。

显庆二年，唐政府平定了西突厥阿史那贺鲁的叛乱，并吸引了罢四镇所招致恶劣后果的教训，于次年将安西都护府迁回龟兹城，恢复疏勒四镇的防守和管理。

咸亨元年四月，吐蕃攻陷龟兹拨换城，安西都护府被迫后撤，四镇再罢。

调露元年，唐安抚大使裴行俭引军平定匐延都督阿史那都支等人的反叛，重置四镇。由副大使﹑安西都护王方翼在碎叶水旁的碎叶镇城以代焉耆。则从这一时期起，安西四镇改为龟兹﹑于阗﹑疏勒和碎叶（碎叶代替了之前的焉耆）。

垂拱二年，吐蕃再次侵边，唐朝兵败，四镇再次失守。

长寿元年，武则天平定诸王之乱后派武威军总管王孝杰等率军还击吐蕃，王孝杰身先士卒，在严寒中“裹足步行”，长途奔袭，经过一番艰苦卓绝的恶战，终于击败了吐蕃，收复四镇。