R&R
一篇关于重复性与再现性的文章，与大家共享。
测量系统R&R分析评述
彭 力1，刘智弘2
（1、中国电子科技集团公司第58研究所；2、清华大学微电子学研究所）
摘要：本文评述测量的重复性和再现性（R&R）分析。详细介绍了R&R分析的统计方法和关键点。还介绍了R&R分析方法的优点和缺点。
关键词：测量系统；重复性；在线性；评述
1 引言
集成电路制造过程中需要检测氧化层厚度、薄层电阻、金属层厚度及PCM电学参数，而实施这些检测需要监视与测试装置，诸如膜厚仪、椭偏仪、薄层电阻仪、α台阶仪及半导体参数测试系统等贵重仪器，姑且不说这些测试装置全部是进口且昂贵，更令人烦恼的是它们的校准问题。虽然有的仪器可用标样进行核准，但标样本身也会随时间而变，有的仪器需送往国外厂家或国内有资质的单位进行校准，既费钱又费时，甚至是不可能的。我们应用监视与测试装置的重复性和再现性 (R&R) 分析，目的旨在做为一种校准方法，发现测量中可能潜在的问题，以便采取纠正与预防措施，从而使测试结果更可信。
2 重复性和再现性分析方法
评价测试系统时需要确定三个基本问题：(1)计测仪器自身的分辨率；(2)计测仪器统计稳定性；(3)测试系统重复性和再现性。其中重复性和再现性分析方法是本文重点。为分析方便，在此介绍几个术语。
偏倚：多次测量结果的平均值与其基准值的差，也称为准确度(Accurate)。
变差：多次测量结果的变异程度，也称为精密度(Precise)，常用测量结果的标准差σ来表示。也可以用过程变差PV表示，即PV=5.15σ，它是指99％的测量结果所占区间的长度。
重复性(Repeatability)：由一个(或多个)操作者采用一种测量仪器，多次重复测量同一样本和同一质量特性所获得的测量值的变差称为测量系统的重复性，记为EV。
再现性(Reproducibility)：由不同操作者，采用相同测量仪器，测量同一样本的同一质量特性所得重复测量的均值的变差称为测量仪器的再现性，或称测量系统的再现性，记为AV。
样本间的变差：任何两个样本间存在的差异。
重复性和再现性分析方法的依据是，质量特性测量数据X是由被测样本的质量特性的基准值(真值)X。和测量误差ε两部分相加而成，即
X=XP +ε(1)
由于X、XP和ε均可看成随机变量，设测量数
定义测量系统总变差为TV≡5.15 σT，样本间的变差为PV≡5.15 σP，测量系统的重复性为EV≡5.15σe及测量系统的再现性为AV≡5.15σo，则对(2)式两端乘以5.1 52得：
(5.15 σT）2=(5.15 σP）2+(515σe）2+(5.15σo ) 2 (3)
(TV) 2=（PV）2+(EV）2+(AV）2=（PV）2+(R&R) 2 (4)
式中（R＆R) 2≡(EV）2+（AV）2(5)
定义(R&R)％≡(R＆R)／TV 做为评价计测仪器能否被接受和被使用的重要指数。判断标准如下：
(1)当(R＆R)％<10％时，所使用的计测仪器是完全可接受的。
(2)当10％<(R&R)％<30％时，尚可以接受。
(3)当(R&R)％>30％时，所使用的计测仪器是不可接受的。
评定一个测量系统的R＆R最简单方法之一是均值极差法(x-R法)。本文主要评述重复性和再现性结果。
3 重复性和再现性结果评述
我们对膜厚仪、椭偏仪、薄层电阻仪、α台阶仪及半导体参数测试系统等仪器用R＆R方法进行了分析，各变差与总变差TV的比率估计结果列于表1中。
根据对上述各测量系统重复性和再现性数据处理过程和结果分析，我们做以下简要评述：
应用重复性的X图上的数据来估计样本变差的必要且充分条件之一是重复性的极差R图必须稳定受控。如果极差R图受控，则所有操作者看起来是"相同"。如果一个操作者失控，则他(她)的方法与其他人的方法不同，例如在对TENCOR α-200台阶仪进行重复性分析时，第2位测试者虽是质量检测员，日常负责检测膜厚仪、椭偏仪、薄层电阻仪稳定性，对膜厚测试操作程序、方法及过程细节及注意事项都很了解，操作很熟练，但她对α-200台阶仪却很少使用过，结果她的测试重复性极差R图不受控。后来，对她进行α-200台阶仪使用培训，并多次在线练习，然后再进行台阶仪现场第2次测试，她的结果与其他两位测试者的结果极差R图都受控，如图1所示。
如果所有人都有不同程度失控，表明测量过程的一致性有问题，则测量系统对操作者是敏感的，系统需改进以获得有用的数据。例如，在对ResistestⅧ薄层电阻仪进行重复性分析时A、B和C三位测试者所得到的极差R图都失控，而这三位都是经常使用该仪器的熟练的测试者，后经过全面分析，薄层电阻仪对操作者如此敏感，可能是由于该仪器不适用于测量薄层电阻为5 000 Ω／口的样本。于是，我们改用1 000Ω／口的样本进行测试，结果三位测试者的极差R图都受控，如图2所示。
应用重复性的x图上的数据来估计样本变差的必要且充分的另一条件是，x图上有50％以上的x存上、下控制界限之外。如果上述两条件均满足，则可用重复性测量数据的x图样本平均值间的极差Rp对样本间的标准差σp和变差PV进行估计。例如α-200台阶仪重复性x图(图3所示)观察表明，在总数为30点中只有8点(即占总数26.7％的点)落在上、下限外，所以在本例中不能简单地用重复性测量数据的x图样本平均值间的极差Rp来对样本间的标准差σp和变差PV进行估计，必须应用对不同样本实测的样本间极差R直接进行估计样本间的标准差σ和变差PV。而PV= 5.15σ=R/d2，，即R越大则PV越大。换句话说如果样本差异越大，被测量的参数值越容易被仪器分辨出来。
必须指出的是，当重复性的极差R图稳定受控及x图上有50％以上的x1在上、下控制界限之外这两个必要且充分条件都满足时，那么所得到的R＆R结果与被测量的参数值的范围有关。例如用L115B椭偏仪分别对SiO2膜厚为14nm和743.1nm两组样本进行R＆R的测试分析时，其结果大不相同，对于SiO2膜厚为14nm的情况，椭偏仪R＆R结果不可接受，而对于SiO2膜厚为743.1nm情况，椭偏仪完全可接受，如表1所示。
由此可见，R＆R对样本的参数值很敏感。
最后要指出的是，R＆R是以统计技术为基础来确定测试过程变差，有别于传统的把计测仪器的测量误差只作为百分比来描述。从表1可见，应用过程变差分析方法EV／TV、AV／TV及PV／TV 三项和不等于100％，而且一定>100％，仅当测试仪器完全可接受情况下，三项总和才接近于100％。
4 结束语
总而言之，测量系统R＆R分析方法是以统计技术为基础，内容十分广泛和复杂。本文对膜厚仪、椭偏仪、薄层电阻仪、a台阶仪及半导体参数测试系统等仪器用R＆R方法进行了分析，有的测试系统完全可接受，有的测试系统尚可以接受，有的测试系统不可接受。R＆R分析方法优势在于简便，无需更高档仪器就能部分地解决了某些测试系统无法外校准的困难，同时对某些测试系统内(自)校准结果起着旁证作用，从而确保了测试结果的正确性和可信度。不足之处是，由于R＆R方法对操作者和样本很敏感，为了做到正确的R＆R结果，需要对操作者进行反复培训和制作合适的样本。诚然，如果遇到某些测试系统R＆R不可接受结果，可促使我们及时地采取更有效的纠正与预防措施，从而将过程持续改善工作推向更高阶段，这正是R＆R方法精髓所在。
本文摘自《电子与封装》
无奈图示贴不上来，郁闷呀(?
测量系统R&R分析评述
彭 力1，刘智弘2
（1、中国电子科技集团公司第58研究所；2、清华大学微电子学研究所）
摘要：本文评述测量的重复性和再现性（R&R）分析。详细介绍了R&R分析的统计方法和关键点。还介绍了R&R分析方法的优点和缺点。
关键词：测量系统；重复性；在线性；评述
1 引言
集成电路制造过程中需要检测氧化层厚度、薄层电阻、金属层厚度及PCM电学参数，而实施这些检测需要监视与测试装置，诸如膜厚仪、椭偏仪、薄层电阻仪、α台阶仪及半导体参数测试系统等贵重仪器，姑且不说这些测试装置全部是进口且昂贵，更令人烦恼的是它们的校准问题。虽然有的仪器可用标样进行核准，但标样本身也会随时间而变，有的仪器需送往国外厂家或国内有资质的单位进行校准，既费钱又费时，甚至是不可能的。我们应用监视与测试装置的重复性和再现性 (R&R) 分析，目的旨在做为一种校准方法，发现测量中可能潜在的问题，以便采取纠正与预防措施，从而使测试结果更可信。
2 重复性和再现性分析方法
评价测试系统时需要确定三个基本问题：(1)计测仪器自身的分辨率；(2)计测仪器统计稳定性；(3)测试系统重复性和再现性。其中重复性和再现性分析方法是本文重点。为分析方便，在此介绍几个术语。
偏倚：多次测量结果的平均值与其基准值的差，也称为准确度(Accurate)。
变差：多次测量结果的变异程度，也称为精密度(Precise)，常用测量结果的标准差σ来表示。也可以用过程变差PV表示，即PV=5.15σ，它是指99％的测量结果所占区间的长度。
重复性(Repeatability)：由一个(或多个)操作者采用一种测量仪器，多次重复测量同一样本和同一质量特性所获得的测量值的变差称为测量系统的重复性，记为EV。
再现性(Reproducibility)：由不同操作者，采用相同测量仪器，测量同一样本的同一质量特性所得重复测量的均值的变差称为测量仪器的再现性，或称测量系统的再现性，记为AV。
样本间的变差：任何两个样本间存在的差异。
重复性和再现性分析方法的依据是，质量特性测量数据X是由被测样本的质量特性的基准值(真值)X。和测量误差ε两部分相加而成，即
X=XP +ε(1)
由于X、XP和ε均可看成随机变量，设测量数
定义测量系统总变差为TV≡5.15 σT，样本间的变差为PV≡5.15 σP，测量系统的重复性为EV≡5.15σe及测量系统的再现性为AV≡5.15σo，则对(2)式两端乘以5.1 52得：
(5.15 σT）2=(5.15 σP）2+(515σe）2+(5.15σo ) 2 (3)
(TV) 2=（PV）2+(EV）2+(AV）2=（PV）2+(R&R) 2 (4)
式中（R＆R) 2≡(EV）2+（AV）2(5)
定义(R&R)％≡(R＆R)／TV 做为评价计测仪器能否被接受和被使用的重要指数。判断标准如下：
(1)当(R＆R)％<10％时，所使用的计测仪器是完全可接受的。
(2)当10％<(R&R)％<30％时，尚可以接受。
(3)当(R&R)％>30％时，所使用的计测仪器是不可接受的。
评定一个测量系统的R＆R最简单方法之一是均值极差法(x-R法)。本文主要评述重复性和再现性结果。
3 重复性和再现性结果评述
我们对膜厚仪、椭偏仪、薄层电阻仪、α台阶仪及半导体参数测试系统等仪器用R＆R方法进行了分析，各变差与总变差TV的比率估计结果列于表1中。
根据对上述各测量系统重复性和再现性数据处理过程和结果分析，我们做以下简要评述：
应用重复性的X图上的数据来估计样本变差的必要且充分条件之一是重复性的极差R图必须稳定受控。如果极差R图受控，则所有操作者看起来是"相同"。如果一个操作者失控，则他(她)的方法与其他人的方法不同，例如在对TENCOR α-200台阶仪进行重复性分析时，第2位测试者虽是质量检测员，日常负责检测膜厚仪、椭偏仪、薄层电阻仪稳定性，对膜厚测试操作程序、方法及过程细节及注意事项都很了解，操作很熟练，但她对α-200台阶仪却很少使用过，结果她的测试重复性极差R图不受控。后来，对她进行α-200台阶仪使用培训，并多次在线练习，然后再进行台阶仪现场第2次测试，她的结果与其他两位测试者的结果极差R图都受控，如图1所示。
如果所有人都有不同程度失控，表明测量过程的一致性有问题，则测量系统对操作者是敏感的，系统需改进以获得有用的数据。例如，在对ResistestⅧ薄层电阻仪进行重复性分析时A、B和C三位测试者所得到的极差R图都失控，而这三位都是经常使用该仪器的熟练的测试者，后经过全面分析，薄层电阻仪对操作者如此敏感，可能是由于该仪器不适用于测量薄层电阻为5 000 Ω／口的样本。于是，我们改用1 000Ω／口的样本进行测试，结果三位测试者的极差R图都受控，如图2所示。
应用重复性的x图上的数据来估计样本变差的必要且充分的另一条件是，x图上有50％以上的x存上、下控制界限之外。如果上述两条件均满足，则可用重复性测量数据的x图样本平均值间的极差Rp对样本间的标准差σp和变差PV进行估计。例如α-200台阶仪重复性x图(图3所示)观察表明，在总数为30点中只有8点(即占总数26.7％的点)落在上、下限外，所以在本例中不能简单地用重复性测量数据的x图样本平均值间的极差Rp来对样本间的标准差σp和变差PV进行估计，必须应用对不同样本实测的样本间极差R直接进行估计样本间的标准差σ和变差PV。而PV= 5.15σ=R/d2，，即R越大则PV越大。换句话说如果样本差异越大，被测量的参数值越容易被仪器分辨出来。
必须指出的是，当重复性的极差R图稳定受控及x图上有50％以上的x1在上、下控制界限之外这两个必要且充分条件都满足时，那么所得到的R＆R结果与被测量的参数值的范围有关。例如用L115B椭偏仪分别对SiO2膜厚为14nm和743.1nm两组样本进行R＆R的测试分析时，其结果大不相同，对于SiO2膜厚为14nm的情况，椭偏仪R＆R结果不可接受，而对于SiO2膜厚为743.1nm情况，椭偏仪完全可接受，如表1所示。
由此可见，R＆R对样本的参数值很敏感。
最后要指出的是，R＆R是以统计技术为基础来确定测试过程变差，有别于传统的把计测仪器的测量误差只作为百分比来描述。从表1可见，应用过程变差分析方法EV／TV、AV／TV及PV／TV 三项和不等于100％，而且一定>100％，仅当测试仪器完全可接受情况下，三项总和才接近于100％。
4 结束语
总而言之，测量系统R＆R分析方法是以统计技术为基础，内容十分广泛和复杂。本文对膜厚仪、椭偏仪、薄层电阻仪、a台阶仪及半导体参数测试系统等仪器用R＆R方法进行了分析，有的测试系统完全可接受，有的测试系统尚可以接受，有的测试系统不可接受。R＆R分析方法优势在于简便，无需更高档仪器就能部分地解决了某些测试系统无法外校准的困难，同时对某些测试系统内(自)校准结果起着旁证作用，从而确保了测试结果的正确性和可信度。不足之处是，由于R＆R方法对操作者和样本很敏感，为了做到正确的R＆R结果，需要对操作者进行反复培训和制作合适的样本。诚然，如果遇到某些测试系统R＆R不可接受结果，可促使我们及时地采取更有效的纠正与预防措施，从而将过程持续改善工作推向更高阶段，这正是R＆R方法精髓所在。
本文摘自《电子与封装》
无奈图示贴不上来，郁闷呀(?
没有找到相关结果
已邀请:
RSS Feed
0 个回复