我该处罚供应商吗？

我在小公司里从事类似SQA的工作不久，碰到头疼问题：有个塑料供应商有批货出现批次色偏问题，导致生产延误。我准备处罚该供应商。该供应商回话了：你们公司经常是拖付采购款3个月以上，我都没有计较。平时退回的划伤不良品，大部分是你们公司生产造成的，我都免费换新。有时候，你们临时要货，我推掉了其他定单，通宵也要加工出来。我们都合作3年了，和你们老板关系非常不错。你不应该处罚我们。如果要罚，我也和你斤斤计较。
我一打听，供应商说的没有错，是事实。连采购也叫我不要处罚了。这下我难办了？不处罚，后面怎样开展工作？处罚，后果我也不能预料。
各位前辈，如何做才好？