您好，你已經認證，抵扣，此時你也需要發票作為入賬的憑證。所以退還不合理。如果對方讓你退還，讓他們出具法條依據。