今天骂了下属，下属与我做了激烈的争吵

首先介绍一下组织架构
有一名人资主任，一名安全主任，一名后勤主任，一名助理。我是主管并负责ISO体系
这个部门是我来到这家公司组建的（其中后勤主任是这里的老员工原来是他一个人管所有的工作，由于没有起色撤掉了；）组建后经过4个多月的努力，部门工作得到了很大的起色；部门逐渐被重视起来；
但随着整个部门不断的成长，矛盾慢慢的出现，目前主要的问题就是安全主任这个人的问题，其工作效率低，工作能力较差，态度还好（但是是那种说一套做一套）这个人最大优点就是老实，不会做出格的事，比较平凡；最大的缺点就是做事没有程序，不知道怎么做事，学历低，效率低；我作为部门主管就是盯着这个人做事，经常斥责这个人，时间一长，此人越来越差，我发现问题后，想了很多的办法来提升他，但最终点这个人还是不能提高，我现在对这个人失去了信心，想炒掉这个人，但这个人还是有一些优点的，又有些不舍得，而且这个部门刚刚建立，还不稳，我也不想去炒人，现在真的很困惑，希望大家帮我分析一下，怎么办？
这个人既像西天取经里的沙僧，又有一点像猪八戒，象鸡肋，食之无味，弃之可惜，大家帮我分析一下，现在要不要炒掉，能不能炒掉。炒掉了对我现大有多大的影响