不可以。根據中華人民共和國稅收法規定，若客戶開具發票的金額大于5000元的，必須具有合同或協議，否則發票將被認定為無效發票。因此，如果客戶不走對公轉賬，5千多，還要開專票，沒有合同，則不可以。 同時，為了防止客戶提供虛假發票給政府，逃稅或犯罪，公司應該采取相應措施，以使政府能夠進行全面管理和檢查。例如，公司應完善內部管理體系，確保所有發票和所有合同有效可追溯；定期進行內部審計，檢查財務記錄，以確保完全有效；實施有效的稅收風險管理，避免歷史負債的發生，并以正確的方式支付費用；以及及時錄入GST、合同、發票等文件，以確保與地方政府相關部門保持正確的聯系。