在《三国演义》中，刘备在赤壁大战后，为了扩大自己的势力范围，开始攻略荆州南部的四郡，包括零陵、桂阳、武陵和长沙。在这个过程中，张飞作为刘备的重要将领之一，攻取了 武陵和零陵两个郡。具体来说，张飞先是引三千兵士攻取了武陵，杀了武陵太守金旋，主簿巩志反叛向刘备献了武陵。随后，张飞又参与了攻打零陵郡的战斗。

诸葛亮的运筹帷幄之下，刘备顺利攻取了武陵、零陵、桂阳三郡，而张飞和赵云分别攻取了一郡。在攻打长沙的过程中，虽然关羽自告奋勇要去攻打长沙，但最终是魏延斩杀了太守韩玄并投降刘备。

因此，张飞在刘备夺取荆州时，攻取了武陵和零陵两个郡。