Gradjevinski fakultet – Odsek za geodeziju i geoinformatiku
OTKRIVANJE GRUBIH
GREŠAKA U GEODETSKIM
MERENJIMA
Račun izravnanja - napredni
B.Božić
Verzija 1.0
SADRŽAJ
 Uvod
 Globalni test modela
 Modelovanje grešaka geodetskih merenja
 Konvencionalne alternativne hipoteze
 Otkrivanje grubih grešaka - Data snooping
 Otkrivanje grubih grešaka - Tau metod
 Otkrivanje grubih grešaka – Danska metoda
 Primer
UVOD
Грубе грешке су резултат неисправности инструмента или грешaкa оператора.
Типични примери ове врсте су: погрешно очитавање, неисправност инструмента, лоше
напајање или екстремни услови рада
Грубе грешке се могу избећи строгим поштовањем процедуре и открити пажљивим
планирањем мерења
Дo одређених сазнања о појави грубих грешака долази се увoђeњeм одређених претпоставки у
вези стохастичких својстава поправака
Rезултат који одскаче (outlier) третира се кao поправка која према одређеним правилима одступа
од неке претпоставке.
Упркос фундаменталној разлици између дефиниције одскачућег резултата и грубих грешака,
природно је очекивати да је одскачући резултат последица појаве грубих грешака
Након откривања одскачућег резултата, неопходно је проверити опажања и открити узрок
Уколико није детектован узрок грубе грешке, одговарајуће опажање се одбацује и по потреби
понавља
Откривање одскачућих резултата засновано је на примени Гаус Марковљевог модела
Први корак јесте примена глобалног теста модела
GLOBALNI TEST MODELA
l  v  A  xˆ
K  Q
2
0
o(A)  n  u, r(A)  r  u, N  AT PA
GMM
P  Q1
xˆ  (A T PA)1 A T P l
Q xˆ  N  N(N ) T
v  (AN A T P  I)l
Q v  Q  AQxˆ A T
vT Pv  lT PQv PQv Pl  l t PQv Pl
s
2
o

vT P v
nu
Оцена непознатих параметара
f  nu
l ~ N(Ax, K x )
xˆ ~ N(x,  02Qxˆ )
v ~ N(0,  Q v )
Претпоставке о распореду
2
0
v T Pv ~  02  2 (f )
Глобални тест модела почива на поређењу a posteriori фактора дисперзије s02 и a priori 02:
H0: Модел је коректан и комплетан - претпоставка о распореду је коректна
v T Pv f  s02
T  2  2 ~ 2 ,f
0
0
Тест статистика
MODELOVANJE GREŠAKA GEODETSKIH
MERENJA
Ako ne važi H0 kao posledica neadekvatnost funkcionalnog modela, da
bi model bio adekvatan opažanjima ćemo dodati popravke 
l l
xˆ  N  A T P(l  )  xˆ  N  A T P
v  v  Q v P
Ocena parametara pod pretpostavkom da merenja sadrže
nemodelovane uticaje
Ocena reziduala pod pretpostavkom da merenja sadrže nemodelovane uticaje
 02  E(s02 )  E(T PQv P) / f
Ocena a posteriori faktora disperzije pod pretpostavkom da merenja
sadrže nemodelovane uticaje, tako da važi odnos: E(s 02 )   02
T
2
Ukoliko je  značajno, tada: v Pv /  0 poseduje necentralni hi-kvadrat raspored sa (n-r) stepeni
slobode sa parametrom necentralnosti .
Ha :
v T Pv
 02
f=4
=0
~  (f ,  )
T PQ v P

 02
KONVENCIONALNE ALTERNATIVNE HIPOTEZE
H a : Jedno opažanje izazvalo je odbacivanje H 0
  e i i
Vektor grešaka merenja (na i-tom mestu je 1, a ostalo su 0.
l  l    l  e i i
T
Vektor merenja, sa: ei  i  (0, 0,...., i ,..., 0)
xˆ  xˆ  N  A T P e i i  xˆ  N  a i p i i
pa je:
Nepomerena ocena parametara sa pi = diag(p1 p2, ..., pn)
v  v  Q v Pei i  v  q vi p i i Vektor reziduala (ceo je zagađen uticajem greške jednog opažanja,
gde je qvi i-ta kolona od Qv).
v T Pv  v T Pv  i2 p i2 q vi vi  2i p i q Tvi v i
 02  E(s 02 )  i2 p i2 q v v / f
Ocena kvadratne forme pod uslovom da je jedno merenje zagađeno.
i i
v T Pv
 02
i 
i 
~  (f ,  )
i2 p i2 q v v
i i

2
0
0
i
pi
q vi vi
Raspored statistike
Parametar necentralnosti gde je qvivi dijagonalni elemenat od Qv
Veličina grube greške kao funkcija parametra necentralnosti
OTKRIVANJE GRUBIH GREŠAKA –
DATA SNOOPING
Za  = 0 odnosno =0 tada parametar necentralnosti  hi-kvadrat rasporeda jedino zavisi od broja stepeni
slobode f.
Parametar necentralnosti se određuje iz tablica ili nomograma necentralnog hi-kvadrat rasporeda i predstavlja
odstupanje očekivane vrednosti test statistike – ako važi Ha – korespodentno kritičnoj vrednosti 02(f)
 je odstupanje očekivane vrednosti test statistike koju ona treba dostići da bi vrednost statistike uzorka
premašila kritičnu vrednost sa verovatnoćom 1- 0 . Ako označimo  sa 0, verovatnoća glasi:


S obzirom da alternativna
hipoteza predpostavlja
postojanje samo jedne greške,
polazeći od 0 za f=1,za svako
opažanje se može odrediti
kritična vrednost  0i
P (  2 (f , 0 )  20 (f )  1  0
0i 
Centralni i necentralni hi-kvadrat raspored za dato 0,  0 i f
c

0
0
1   0   f (  2 (f ))d 2 , 1   0   f (  2 (f , 0 ))d 2 ,
c   2 0 (f )  12 0 (f , 0 )
0
0
pi
q vi vi
Ukoliko greška dostigne vrednost
0i, tada će verovatnoća njenog
otkrivanja biti 1-0 , dok je
verovatnoća odbacivanja korektnog
opažanja 0.
0
v 0  q v p i 0i  q v  0
i
v oi   0 0 q v v
Efekti uticaja grube greške na rezidual zagađenog merenja.
i i
ui 
vi
v

i
vi
 0 qv v

i i
Efekti uticaja grube greške na vektor reziduala
q vi vi
i
vi

 0 qv v
p i q vi vi
i i
0
i
Test statistika – metoda data snooping (Baarda).
Pretpostavka: 1) reziduali imaju normalnu raspodelu i
poznato 0,, 2) reziduali su standardizovani- Posledica:
u i H 0 ~ N(0,1); u i H a ~ N(u i ,1)
ui
ui
Kritična vrednost u  0 standardizovane slučajne promenljive normalne raspodele zavisi jedino od 0.
i biće premašena sa verovatnoćom 1-0 samo ukoliko kritična vrednost 0i bude dostignuta.
Za pojedine vrednosti 0 i 0 i f=1, u tabeli su date vrednosti od .
 (%)
 (%)
0.001
0.005
0.01
0.05
0.1
1.0
2.5
5
10
5.6
5.3
5.2
4.8
4.6
3.9
3.5
3.2
20
5.3
4.9
4.7
4.3
4.1
3.4
3.1
2.8
30
4.9
4.6
4.3
4.0
3.8
3.1
2.8
2.5
Gruba greška u nekom opažanju ii biće otkrivena sa verovatnoćom 1-  0 samo
ako dostigne vrednost oi Vrednost koi isključivo zavisi od 0.
Kritičnu vrednost greške može
se izraziti i na drugi način:
i  k i i 
ki 
k 0i 
k i 0
pi
i
p i q vi vi
0
p i q vi vi
;
0i  k 0i i
Nivo rizika , f dimenzionalnog globalnog testa modela mora biti usklađena u jednodimenzionalnom testu sa
greškom prve vrste 0 i greškom druge vrste 0 na takav način da gruba greška oi izazove odbacivanje test
statistike sa verovatnoćom 1- 0. To se postiže korišćenjem iste Ha hipoteze, odnosno parametar
necentralnosti mora biti isti u oba testa, što se simbolički može opisati kao: .0   ( 0 , 0 ,f )   ( , 0 ,1)
Rešenje za  daje verovatnoću greške prve vrste globalnog testa. Za tu priliku često se koriste nomogrami:
Nomogram za određivanje
0 i u0, u funkciji 0
odnosno i 2 (f) kao
funkcije od 0 i f, za
0=20%
PRIMER:
Za 100 0 = 0.1
0 =17.0 i u0 =3.29
Za 100 0 = 0.1, f= 20
=0.11,  2(f)=20 x1.4=28.0
OTKRIVANJE GRUBIH GREŠAKA
-TAU METODA
Pretpostavka: 0 nepoznato. Pope pristup zasniva se na primeni standardizovanih popravaka
(studentizovane popravke) oblika:
vi
s vi
Kako su vi i svi određeni iz istog skupa, sledi da su statistički zavisne, tako da se ne može primeniti t
raspored, već  (tau) raspored sa f =n-r stepeni slobode, tj.
Ti 
vi
s vi

vi
~  (f )
s 0 q vi vi
Kako su tablice  rasporeda složene,  se transformiše u t promenljivu i obrnuto, tj.
 (f ) 
t ( f 1) 
f
f 1 t
2
( f 1)
 t ( f 1)
(f  1) (2f )
f 
2
(f )
t(f’1) se uzima iz tablica t rasporeda
sa
2 f
Nulta hipoteza glasi:
H 0 : E( v i )  0
i  1,2,..., n
Alternativna hipoteza glasi Ha : Jedna popravka je posledica postojanja grube greške.
Za verovatnoću greške I vrste testa koji se sastoji od n pojedinačnih testova najčešće se uzima =5%.
Strogo rešenje nivoa rizika 0 od n jednodimenzionalnih testova nije moguće zbog statističke zavisnosti
popravaka i pojedinačnih testova. Približna vrednost 0 uz uvažavanje na postojanje zavisnosti
određuje se kao:
 0  1  (1   )1/ n
Hipoteza H0 se odbacuje ukoliko je:
Tk    o / 2 (f )
Data snooping i  metoda testiranja zasnivaju se na pretpostavci da samo jedno opažanje sadrži
grubu grešku. Ukoliko je više takvih opažanja, teorija gubi smisao. I pored toga, u praksi se koristi
sledeći pristup. Prvo se odbacuje opažanje sa najvećom statistikom i izravnanje sa n-1 merenjem se
ponavlja. Računaju se nove popravke i nove disperzije, nova vrednost 0 i izvodi se testiranje sa f-1
stepeni slobode. Postupak se ponavlja po istom algoritmu. Uspeh je čest pod sledećim
pretpostavkama:
- da se opažanja pokoravaju zakonu normalnog rasporeda,
- GMM je adekvatan, osim u slučaju jedne grube greške,
- model je takav da gruba greška maksimizira test statistiku od odgovarajuće popravke,
- n jednodimenzionalnih testova je statistički nezavisno.
OTKRIVANJE GRUBIH GREŠAKA - DANSKA
METODA
Dansku metodu je prvi predložio Krarup (Krarup, Juhl and Kubik, 1980). Polazi se od pretpostavke
da najveće popravke ukazuju na najmanje tačna opažanja. Nakon primene klasičnog MNK, a priori
težine se zamenjuju novim, u funkciji popravaka, nakon čega se dobijaju ocene novih parametara i
računaju nove težine. Proces je iterativan sa 5 do 10 iteracija. Metoda je heuristička, tj. nije teorijski
utemeljena, odnosno nema pretpostavki o stohastičkim osobinama opažanja i nema statističkog
testiranja.
Prilikom računanja težina, koristi se nekoliko funkcija. Jedna od njih izgleda:
p v 1  p v f ( v v ),

1

f (v v )  



v  1,2,...n
ako je
exp 
v v  pi
s0
c
v v  pi
c  s0
koja definiše interval oblika:
 c  v pi / s0  c
U kojem se a priori težine sadrže. Ukoliko se standardizovane popravke van navedenog intervala vrši
se njihova redukcija. Za konstantu c biraju se vrednosti između 2 i 3, što zavisi od redudantnosti GMM
i kvaliteta merenja. Cilj strategije je da se redukuje uticaj onih opažanja za koje se sumnja da sadrže
grubu grešku. Merenja se ne odbacuju, osim ako očigledno sadrže grubu grešku. Metod je vrlo sličan
Huberovoj metodi robustnog ocenjivanja. Ni jedna metoda nije univerzalna.
Download

otkrivanje grubih grešaka