是的，由村集體出讓的土地，如果購買者把土地上蓋了辦公樓或廠房，那么就應該繳納房產稅了。根據中國法律，任何擁有房屋的個人或單位，都應該在每年的某一日，按照法定標準繳納房產稅。考慮到您的村集體的土地購買的樓宇及廠房，您應該按照當地的稅收政策，正式登記房產，然后開始繳納房產稅。拓展知識：什么是房產稅：是指房地產擁有者每年根據法律法規，在買入房屋后按照規定的比例支付給政府的稅收，繳納房產稅是購買房地產的必要程序。