殘保金是由個人所得稅部門征收的，但也有一些地方的稅務局負責征收，需要自行查詢當地的征稅規定。