根據(jù)《中華人民共和國增值稅暫行條例》第七十八條規(guī)定：發(fā)票和財(cái)務(wù)資料發(fā)生變更或者錯(cuò)誤，發(fā)票領(lǐng)用人應(yīng)當(dāng)在發(fā)票上注明變更情況或者錯(cuò)誤情況，經(jīng)發(fā)票銷售方單位審核后據(jù)實(shí)開具紅字發(fā)票。因此，公司在要求對(duì)方退回原發(fā)票所有聯(lián)次時(shí)，只要讓對(duì)方按照法定規(guī)定核實(shí)變更或者錯(cuò)誤情況后開具紅字發(fā)票即可，無需要求回原發(fā)票所有聯(lián)次。同時(shí)，《中華人民共和國增值稅暫行條例》規(guī)定，紅字發(fā)票持有人應(yīng)當(dāng)采取遺失發(fā)票的處理措施，進(jìn)行注銷登記，保證紅字發(fā)票的安全使用。因此，作為發(fā)票領(lǐng)用人，公司應(yīng)對(duì)對(duì)方開具的紅字發(fā)票負(fù)責(zé)，以保證發(fā)票安全使用，避免重復(fù)抵扣發(fā)生。