请问我应该从哪里下手改善

大家好，现在比较头疼怎么才能改善品质，问题很多，该从什么地方下手？
先介绍下工厂的情况吧：工厂比较小，200人的手工制造行业。工人素质低，基本都是小学，初高中毕业的。今年是工厂成立10周年。
在介绍一下我的情况：我今天工作第6个年头，前3年在一个世界500强公司做工作，后来回老家来到了这个公司，一进来就让我编写质量体系，说客户要来审核，因为在以前的公司是做技术的，编写体系还真的不在行，但是老板交代了任务，又是新人，怎么能不做，所以一边自学一边编写，编写当中才发现，公司关于质量方面的资料什么都没有，所以必须全部作假，于是首先编写检验表格分给各个部门去填写，我自己编程序文件。用了2个星期的时间，质量手册出来了。客户来验厂也通过了审核，不过凭的等级是最低等级。不过我还是很高兴的，自己从中学到了很多。我开始进入我的工作，老板说我们没有品质部，品质人员都安排在生产线上，现在也想成立单独的品质部，但是慢慢来，先让我负责IQC。
慢慢的我发现了工厂的问题，首先，IQC只有我一个人，可以说我自己管自己。老板对我也信任，工人认为我是总质检，其实只有我一个是真正做质量方面的工作，那些所谓的IPQC做的事都是产线工人的事。。原物料检验都是我来，但是物料种类很多，我也只能检验比较重要的配件。另一些配件只能放到生产中区检验了。。每次发现问题了，都是第三方来验货的时候发现，或者在生产过程中发现，更有甚者在出货时才发现。幸亏次数不是很多。
现在，客户为了省钱，不派第三方来验货了，让我们自检，来培训了一下我们，老板让我和那些IPQC参加了培训。培训结果是让我主要负责（我又多了一项工作），因为他们都看不懂也不会写英文的验货报告。
今天老板找我谈话，说希望我把IQC的品质工作做细点。我说：品质不是一个的事，我们都没有安装流程走，那些手册都是假的。我们工厂也成立10年了，这是个转折点，如果在管理上不提高一步，很难向前发展。不能在按部就班了。出现问题才解决问题。老板说：那你写个报告吧，你想怎么做？
我想,改革或者请有经验的人来估计不太可能，因为涉及人员变动太大，但凡涉及到要钱的事，老板都很头疼。用品质手法改善估计也不大可能，一，我只懂皮毛。二员工素质上我也不敢想象。我改从哪里着手改善问题呢？望各位给点我意见。