供应商不良品处理方面的困惑！

背景： 我司有一个不良品仓，供应商来料在进料检验中发现不良和在制程中发现的来料不良全部都会暂存在这里，然后SQE会投诉供应商， 供应商接收投诉后会和我司采购一起进行处理退/换货。
问题： 我司跟供应商之间是60天付款，到付款的那个时候，财务会根据供应商当初开的发票将货款全部付给供应商，其实有时候这批货因为不检验出有来料不良，正躺在不良品仓里，或者有一部分转到了不良品仓。供应商钱都全部拿到手了，谁还有积极性来跟我们处理退/换货啊！搞得SQE和采购天天催供应商来处理，累得要死，现在不良品仓积累了好几年的不良品，上面的老板又在压我们减少库存量。我跟财务部门要求，在给供应商付款时应该除去不良品仓中的产品，即不良品仓的东西不付钱，可财务部门妈的说这样没办法处理，操！我就搞不清这有什么难的。
各位兄弟，你们公司对这样的问题是怎么处理的啊？对我目前的景况有和好的建议！