小額貸款公司收取的客戶利息不能給對方開具增值稅專用發票，因為根據稅務總局的規定，增值稅發票是針對實體和個人之間的商品買賣或服務收費向實體和個人開具的，而小額貸款公司收取的客戶利息不屬于商品買賣或服務收費，所以不能給對方開具增值稅專用發票。 此外，小額貸款公司信貸費收取對象為個人，應當以收費憑證的形式出具收費憑證，其中應當包括收費人、收費單位、費用和收費日期等內容，另外還應包括數額大小和收費方式。收費憑證是所收費用的證明，作為收款的有效憑據，可以與稅務機關的稅務登記相結合，以保證小額貸款公司收取的費用不被濫用。