這首先要說(shuō)說(shuō)數(shù)據(jù)處理里的概念：幾個(gè)數(shù)相乘除時(shí),其結(jié)果的位數(shù)與這幾個(gè)數(shù)中最少的相同.例如,1.2345678*1.1(=1.35802458)=1.4.例如,拉伸法測(cè)楊氏模量,公式中全是乘除的關(guān)系.若要求楊氏模量有3位有效數(shù)字,公式中任一個(gè)數(shù)都不能少于3位.式中除金屬絲的直徑外,都能量出4位數(shù).例如,金屬絲長(zhǎng)度約半米多,用米尺量是534.0毫米,4位；只有金屬絲的直徑較小,約半個(gè)毫米,用直尺量是0.5,1位；用卡尺量是0.50,2位；用千分尺量是0.500,3位.可見(jiàn),金屬絲的直徑必須用千分尺量,才能保證算得的楊氏模量為3位.總之,不同的長(zhǎng)度用不同的量具,是為了保證計(jì)算結(jié)果的精度.
從相對(duì)誤差角度考慮,相對(duì)誤差=絕對(duì)誤差/測(cè)量值.以金屬絲的直徑為例,用直尺量是0.5,絕對(duì)誤差0.2,相對(duì)誤差=0.2/0.5=0.4；用卡尺量是0.50,絕對(duì)誤差0.02,相對(duì)誤差=0.02/0.50=0.04；用千分尺量是0.500,絕對(duì)誤差0.002,相對(duì)誤差=0.002/0.50=0.004.可見(jiàn)用千分尺量金屬絲的直徑,相對(duì)誤差最小.