退货时需要归还发票的原因主要有以下几点：
归还发票是反洗钱法的要求。如果退款后持有发票再报销，可能会被视为洗钱行为。
原发票是凭借其中的发票号码、购买时间等信息来验证和核对退货是否合法的。原发票的凭证作用不可或缺，因为它能证明退货商品是在规定时间内购买的，并且在一定期限内可以追溯到具体的商品和信息。
如果退货涉及增值税，供货方需要自行进行财务处理冲销销项税。退货方没有交税的义务，但需要确保发票的完整，以便于供货方进行准确的财务核算。
退货后，销售方应当将货款和增值税全部退还给购买方。根据《中华人民共和国发票管理办法》，退货后需要将已开具的发票随货退回，或者作废发票并开具红字发票，相应的增值税可以抵减或申请退税。
退货时归还发票可以避免因发票问题产生的纠纷，确保双方权益不受损害。例如，天猫等电商平台会要求将发票一并寄回，若因买家原因发票未退回，可能会扣除相应的税点。
综上所述，退货时归还发票不仅是法律合规的要求，也是保障双方权益、确保财务核算准确和避免纠纷的重要措施。因此，在退货过程中，务必将发票完整归还给商家。