一般來說，把債務轉移了的發票應當由讓與人開具，因為他們是債務的當事人。而沒有轉讓的債務應由出借人開具相應發票。比如，一家公司想要轉讓債務，則需要由出借人開具發票，以表明債務已由出借人轉讓給讓與人。此外，在轉讓債務的過程中，為了避免出現雙重征稅的情況，出借人還需要出具相關的稅務證明，以保證債務的轉讓是合法的。