该如何管理供应商

有家供应商，来货总是出问题，我们只能退货，又不能罚款。但是这样做质量部对我有意见，说每次只是退货也不是办法，增加了他们部门的工作难度（意思是没有采取其它措施，比如罚款什么的，但是我知道罚款是不可能的，因为有些供应商人家都不想做我们的生意，嫌我们订单小，有几家已经明确的说了要我们再找新供应商）。还说以后这家供应商的货他们不检验了。说实话，我没有权利去对供应商罚款，而且感觉在我们公司根本行不通。不知道大家有没有什么好的方法对这样的供应商进行管理，目前我能做的也就是多联系供应商，对他们施压，多拜访供应商，多沟通，其它的也没有什么好的办法（而且这个产品比较特殊，不可能另外找新供应商的，只能在这家做）。不过我提出了可以和供应商签个"质量协议“，但是又必须要souring部门参与进来，让souring部门起草个质量协议，再让souring部门和供应商谈，这样以后出了问题就可以照着质量协议做就是了，大家都不需要那么麻烦。不知道大家公司里面的质量协议是哪个部门起草并和供应商签署的？和供应商按照哦质量协议来操作是否可行？