在處理投資撤回的問題上，是否需要繳納所得稅取決于具體的情況。根據中國的稅法規定，企業或個人投資者從被投資單位撤回或者減少投資時，其取得的資產中相當于初始出資的部分，應確認為投資收回；相當于被投資企業累計未分配利潤和累計盈余公積按減少實收資本比例計算的部分，應確認為股息所得；其余部分確認為投資資產轉讓所得。

具體來說：
1. 如果投資者撤回的投資金額不超過其在該企業的實際投資額，則這部分資金被視為投資本金的回收，不視為收入，因此不需要繳納所得稅。
2. 若撤資時取得的資金超過初始投資額的部分，其中相當于被投資企業累計未分配利潤和盈余公積按減少實收資本比例計算出的部分，按照股息、紅利所得的相關規定處理。根據現行稅法，符合條件的居民企業之間的股息、紅利等權益性投資收益屬于免稅收入；對于個人投資者而言，則可能需要繳納20%的個人所得稅。
3. 除上述兩項之外的剩余部分，應視為股權轉讓所得或損失，并按相應稅率計征企業所得稅或個人所得稅。

總之，在進行投資撤回操作時，應當仔細計算各部分的具體金額，并按照稅法規定正確申報納稅。如果涉及到復雜的稅務問題或者不確定如何處理的情況，建議咨詢專業的會計師或稅務顧問以獲得準確的指導和幫助。