“三番五次”是正确的成语，而“三番四次”不是成语。具体解释如下：

三番五次

意思：形容次数很多。

出处：清 吴敬梓《儒林外史》第八回：“三番五次，缠的老和尚急了，说道：‘你是何处光棍，敢来闹我们!’”

感情色彩：中性成语

三番四次

意思：形容反复进行某种事情，次数较多，但它不是成语，而是一个常用语。

感情色彩：中性成语

因此，正确的成语是“三番五次”。