张柬之的奏议不被采纳。不久调他任荆州大都督府长史。

长安年间，武则天问狄仁杰：“从何处能得到一位奇士使用他？”

狄仁杰说“：陛下若求文章、资历，现宰相李峤、苏味道足够了。难道是文士拘泥小节，不足以共成天下大业吗？”

武则天说：“是的。”

狄仁杰说：“荆州长史张柬之虽然年老，却是宰相之才。用他，他必定为国家尽心竭力。”

武则天立即召请张柬之任洛州司马。

过了一段时间，武则天又求才，狄仁杰说：“臣曾举荐张柬之，您没用他。”

武则天说：“提拔他了。”狄仁杰说：“臣举荐宰相却任司马，这不是庸才。”于是张柬之被授官为司刑少卿，迁升秋官侍郎。

其后姚崇出任灵武军使，即将启程，武则天诏令举荐宫外百官中可任宰相的人，姚崇说：“张柬之深沉稳重有谋略，能决断大事，他已年老，要赶快任用。”

武后当天就召见他，授官同凤阁鸾台平章事，晋升凤阁侍郎。

神龙元年（705年）正月，武则天病得非常严重，麟台监张易之和春官侍郎张昌宗居宫中执政，张柬之、崔玄暐与中台右丞敬晖、司刑少卿桓彦范以及相王府司马袁恕己谋划杀掉张易之和张昌宗。