前辈们 如果你是我现在的处境 你会选择怎么做这个品质主管

首先描述下我现在的基本情况，之前是贸易公司的QC 这个行业做了6年了吧 对于产品 客户的要求 等都比较了解。然后目前准备就职的工厂是之前下单合作的。职位是品管部主管
工厂是我们公司老板的哥哥开的，订单都是我们公司的。工厂的老板比较赏识我，于是一直想把我弄到工厂做品质部主管。但目前面临的情况是这样的：
1.工厂比较小，年产值1500W人名币的手工制造行业。工人素质低，基本都是小学，初中毕业的。手工行业的，有一定技术水平的比较吃香，稍不顺心，就离职，马上有下家工厂接收。本厂的单价还算不错，但是没有食宿没有别的工厂方便，也没其他更多的福利。
2.工厂的其他管理人员，基本都是从基层奋斗上来的，技术型的。基本都是冲着赶产量去的，品质意识薄弱的原因之一，是不敢给工人压迫感，不敢管，反正大家不求突破，但求安稳。因为他们都是带着技术工来的，老板看中的也有这个原因。
3.老板是个甩手掌柜，开起工厂后啥也不管了，只要工人稳定，公司上面的业务员没找他投诉什么，基本不来工厂的。他自己玩的不亦乐乎
4.工厂目前是一个妇女（自认为是老板心腹），没任何素质，但是能联系老乡（工人）没事就给老板汇报工厂情况，当然都是她想说什么就说什么，不过老板耳根轻，很可怕。今年新上任的厂长，人很狡谲，想独揽所以权利，但惧于目前这个妇女的吹耳边分功，所以跟她维系着微妙的关系，这女人整天瞎参合管理到各个部分

总之：1.工厂没管理体系 从厂长至车间组长，到不敢或者说不愿意改革，不愿意强制要求工人
2.老板基本不来工厂，你的业绩中有一块会是厂长和那妇女描述的，所以跟他们的关系很微妙
3.老板要产量，要工人，（厂长就附和老板，给他这些） 要工厂稳定，也想我能平衡品质跟产量
4.我被弄到工厂，除了老板赏识外，一个很重要的原因是，厂长想通过这方式把我绑架到工厂（原先是我们贸易公司下单，我监控品质）
5.唯一对我有利的是，我这么多年的资历，我们贸易公司的人都认同。大家也希望我到工厂后能全面管理起来。厂长能在一定程度上重视品质问题，就是来自贸易公司这些人的压力。
6.我想直属老板，做个独立的品管部 但是厂长想让我挂在他的部门下，这样最终他说了算，老板同意我的跟厂长平级，独立部门，但是他作为仲裁者，基本不来工厂
7. 目前部门的检验员比较难招，工作时间跟专业技能的原因，现在的部下都是原来留下的（之前都是厂长管的人）
大家说，我这部门要怎么做？支招啊 拜托