是的，上述情況下應該退回稅務局重新領取發票。由于發票的蓋章機已經不再有效，因此必須前往稅務局重新申請10元的通用定額發票。另外，必須填寫《退還發票申請書》，并附上本人身份證或法人營業執照復印件和發票條據。由于發票中的印章無效，為使發票保持有效，應經稅務機關進行審核；一旦確認有效，將發放等值發票，并當面進行發票交換。拓展知識：發票是企業經營活動的重要結算憑證，必須保證發票中的所有核心內容完整，保證發票在稅務機關審核、使用上有效，保證發票的真實性。