Тестване на прости хипотези чрез теста хи-квадрат на Пиърсън в MS EXCEL. Условия и ограничения за използване на теста хи-квадрат на Пиърсън

До края на 19-ти век нормалното разпределение се смяташе за универсален закон за вариация на данните. Въпреки това К. Пиърсън забеляза, че емпиричните честоти могат да се различават значително от нормалното разпределение. Въпросът беше как да го докажа. Изисква не само графично сравнение, което е субективно, но и строга количествена обосновка.

Така беше изобретен критерият х 2(хи-квадрат), който тества значимостта на несъответствието между емпирични (наблюдавани) и теоретични (очаквани) честоти. Това се случи през далечната 1900 г., но критерият се използва и до днес. Освен това той е адаптиран за решаване на широк спектър от задачи. На първо място, това е анализът на номиналните данни, т.е. тези, които се изразяват не с количество, а с принадлежност към категория. Например класа на автомобила, пола на участника в експеримента, вида на растението и т.н. Математически операции като събиране и умножение не могат да се прилагат към такива данни, за тях могат да се изчисляват само честоти.

Обозначаваме наблюдаваните честоти О (наблюдавано), очакван - E (очаква се). Като пример да вземем резултата от хвърляне на зар 60 пъти. Ако е симетрична и равномерна, вероятността всяка страна да излезе нагоре е 1/6 и следователно очакваният брой на всяка страна е 10 (1/6∙60). Записваме наблюдаваните и очакваните честоти в таблица и начертаваме хистограма.

Нулевата хипотеза е, че честотите са последователни, тоест действителните данни не противоречат на очакваните. Алтернативна хипотеза е, че отклоненията в честотите надхвърлят случайните флуктуации, тоест несъответствията са статистически значими. За да направим строго заключение, трябва.

1. Обобщена мярка за несъответствието между наблюдаваните и очакваните честоти.
2. Разпределението на тази мярка при валидността на хипотезата, че няма разлики.

Нека започнем с разстоянието между честотите. Ако вземем само разликата О - Е, то такава мярка ще зависи от мащаба на данните (честотите). Например, 20 - 5 \u003d 15 и 1020 - 1005 \u003d 15. И в двата случая разликата е 15. Но в първия случай очакваните честоти са 3 пъти по-малки от наблюдаваните, а във втория случай - само 1,5%. Нуждаем се от относителна мярка, която не зависи от мащаба.

Нека обърнем внимание на следните факти. В общия случай броят на градациите, в които се измерват честотите, може да бъде много по-голям, така че вероятността едно наблюдение да попадне в една или друга категория е доста малка. Ако е така, тогава разпределението на такава случайна променлива ще се подчинява на закона за редките събития, известен като Законът на Поасон. В закона на Поасон, както е известно, стойността на математическото очакване и дисперсията са еднакви (параметър λ ). Следователно очакваната честота за някаква категория номинална променлива Eiще бъде едновременната и нейната дисперсия. Освен това законът на Поасон с голям брой наблюдения клони към нормалното. Комбинирайки тези два факта, получаваме, че ако хипотезата за съгласието между наблюдаваните и очакваните честоти е вярна, тогава с голям брой наблюдения, израз

Ще има .

Важно е да запомните, че нормалността ще се появи само при достатъчно високи честоти. В статистиката е общоприето, че общият брой на наблюденията (сумата от честотите) трябва да бъде най-малко 50 и очакваната честота във всяка градация трябва да бъде най-малко 5. Само в този случай стойността, показана по-горе, ще има стандартно нормално разпределение. Да приемем, че това условие е изпълнено.

Стандартното нормално разпределение има почти всички стойности в рамките на ±3 (правило на три сигма). Така получихме относителна разлика в честотите за една градация. Нуждаем се от обобщена мярка. Не можете просто да сумирате всички отклонения - получаваме 0 (познайте защо). Пиърсън предложи да се съберат квадратите на тези отклонения.

Това са знаците критерий х 2Пиърсън. Ако честотите наистина отговарят на очакваните, тогава стойността на критерия ще бъде сравнително малка (тъй като повечето отклонения са близо до нула). Но ако критерият се окаже голям, тогава това свидетелства в полза на значителни разлики между честотите.

Критерият става „голям“, когато появата на такава или дори по-голяма стойност стане малко вероятно. И за да се изчисли такава вероятност, е необходимо да се знае разпределението на критерия, когато експериментът се повтаря многократно, когато хипотезата за честотно съгласие е вярна.

Както можете да видите, стойността на хи-квадрат също зависи от броя на термините. Колкото повече от тях, толкова по-голяма трябва да бъде стойността на критерия, защото всеки член ще допринесе за общата сума. Следователно за всяко количество независимиусловия, ще има собствено разпространение. Оказва се, че х 2е цяло семейство от дистрибуции.

И тук стигаме до един гъделичкащ момент. Какво е число независимиусловия? Изглежда, че всеки термин (т.е. отклонение) е независим. К. Пиърсън също мислеше така, но се оказа сгрешил. Всъщност броят на независимите термини ще бъде с един по-малък от броя на градациите на номиналната променлива н. Защо? Защото ако имаме извадка, за която сумата от честоти вече е изчислена, тогава една от честотите винаги може да се дефинира като разлика между общия брой и сбора на всички останали. Следователно вариацията ще бъде малко по-малка. Роналд Фишър забеляза този факт 20 години след като Пиърсън разработи своя критерий. Дори масите трябваше да бъдат преработени.

По този повод Фишър въведе нова концепция в статистиката - степен на свобода(степени на свобода), което е броят на независимите членове в сбора. Концепцията за степени на свобода има математическо обяснение и се появява само в разпределения, свързани с нормалното (Студент, Фишер-Снедекор и самият хи-квадрат).

За да разберем по-добре значението на степените на свобода, нека се обърнем към физическия аналог. Представете си точка, която се движи свободно в пространството. Има 3 степени на свобода, т.к може да се движи във всяка посока на триизмерното пространство. Ако една точка се движи по която и да е повърхност, тя вече има две степени на свобода (напред-назад, дясно-ляво), въпреки че продължава да бъде в триизмерно пространство. Точката, движеща се по протежение на пружината, отново е в триизмерно пространство, но има само една степен на свобода, т.к може да се движи напред или назад. Както можете да видите, пространството, където се намира обектът, не винаги отговаря на реалната свобода на движение.

Приблизително също разпределението на даден статистически критерий може да зависи от по-малък брой елементи от сумите за неговото изчисляване. В общия случай броят на степените на свобода е по-малък от броя на наблюденията от броя на наличните зависимости. Това е чиста математика, без магия.

Така че разпределението х 2е семейство от разпределения, всяко от които зависи от параметър от степени на свобода. И формалното определение на хи-квадрат теста е както следва. Разпределение х 2(хи-квадрат) с кстепени на свобода е разпределението на сумата от квадрати кнезависими стандартни нормални случайни променливи.

След това бихме могли да преминем към самата формула, според която се изчислява функцията на разпределение хи-квадрат, но, за щастие, всичко отдавна е изчислено за нас. За да получите вероятността от интерес, можете да използвате или съответната статистическа таблица, или готова функция в специализиран софтуер, който дори е наличен в Excel.

Интересно е да се види как се променя формата на разпределението хи-квадрат в зависимост от броя на степените на свобода.

С увеличаването на степените на свобода разпределението хи-квадрат е нормално. Това се обяснява с действието на централната гранична теорема, според която сумата от голям брой независими случайни величини има нормално разпределение. Не пише нищо за квадратите.

Тест за хипотеза хи-квадрат

И така, стигаме до тестване на хипотези с помощта на метода хи-квадрат. Като цяло техниката остава. Излага се нулева хипотеза, че наблюдаваните честоти съответстват на очакваните (т.е. няма разлика между тях, тъй като са взети от една и съща генерална съвкупност). Ако случаят е такъв, тогава спредът ще бъде сравнително малък, в рамките на случайни колебания. Мярката за разпространение се определя чрез теста хи-квадрат. След това или самият критерий се сравнява с критичната стойност (за съответното ниво на значимост и степени на свобода), или, по-правилно, се изчислява наблюдаваното p-ниво, т.е. вероятността за получаване на такава или дори по-голяма стойност на критерия при валидността на нулевата хипотеза.

Защото Тъй като се интересуваме от съгласието на честотите, тогава хипотезата ще бъде отхвърлена, когато критерият е по-голям от критичното ниво. Тези. критерият е едностранен. Въпреки това, понякога (понякога) е необходимо да се тества хипотезата за лявата ръка. Например, когато емпиричните данни са много подобни на теоретичните. Тогава критерият може да попадне в малко вероятен регион, но вече вляво. Факт е, че в естествени условия е малко вероятно да се получат честоти, които практически съвпадат с теоретичните. Винаги има някаква случайност, която дава грешка. Но ако няма такава грешка, тогава може би данните са фалшифицирани. Но все пак хипотезата за дясната ръка обикновено се тества.

Да се ​​върнем към проблема със заровете. Изчислете стойността на теста хи-квадрат според наличните данни.

Сега нека намерим табличната стойност на критерия при 5 степени на свобода ( к) и ниво на значимост 0,05 ( α ).

т.е х2 0,05; 5 = 11,1.

Нека сравним действителната и табличната стойност. 3.4( х 2) < 11,1 (х2 0,05; 5). Изчисленият критерий се оказа по-малък, което означава, че хипотезата за равенство (съгласие) на честотите не се отхвърля. На фигурата ситуацията изглежда така.

Ако изчислената стойност попадне в критичната област, тогава нулевата хипотеза ще бъде отхвърлена.

По-правилно би било да се изчисли и p-ниво. За да направите това, трябва да намерите най-близката стойност в таблицата за даден брой степени на свобода и да видите съответното ниво на значимост. Но това е миналия век. Използваме компютър, по-специално MS Excel. Excel има няколко функции, свързани с хи-квадрат.

По-долу е дадено кратко описание за тях.

XI2.OBR- критична стойност на критерия за дадена вероятност отляво (както в статистическите таблици)

chi2.ex.phе критичната стойност на критерия за дадена вероятност отдясно. Функцията по същество дублира предишната. Но тук можете веднага да посочите нивото α , вместо да го изважда от 1. Това е по-удобно, т.к в повечето случаи е необходима дясната опашка на разпределението.

CH2.DIST– p-ниво вляво (може да се изчисли плътността).

HI2.DIST.PH- p-ниво вдясно.

HI2.ТЕСТ– извършва тест хи-квадрат на два дадени честотни диапазона наведнъж. Броят на степените на свобода се приема с една по-малка от броя на честотите в колоната (както трябва да бъде), връщайки стойността на p-ниво.

Засега нека изчислим за нашия експеримент критичната (таблична) стойност за 5 степени на свобода и алфа 0,05. Формулата на Excel ще изглежда така:

CH2.OBR(0,95;5)

chi2.inv.rx(0,05;5)

Резултатът ще бъде същият - 11.0705. Именно тази стойност виждаме в таблицата (закръглена до 1 знак след десетичната запетая).

Накрая изчисляваме p-ниво за 5 степени на свобода на критерия х 2= 3.4. Нуждаем се от вероятността вдясно, така че вземаме функцията с добавяне на RH (дясна опашка)

CH2.DIST.RH(3.4;5) = 0.63857

И така, с 5 степени на свобода, вероятността за получаване на стойността на критерия х 2= 3,4 и повече се равнява на почти 64%. Естествено, хипотезата не се отхвърля (p-нивото е по-голямо от 5%), честотите са в много добро съгласие.

И сега нека проверим хипотезата за честотното съгласие с помощта на функцията CH2.TEST.

Без таблици, без тромави изчисления. Посочвайки колони с наблюдавани и очаквани честоти като аргументи на функцията, веднага получаваме p-ниво. Красотата.

Представете си сега, че играете на зарове с подозрителен тип. Разпределението на точките от 1 до 5 остава същото, но той хвърля 26 шестици (броят на всички хвърляния става 78).

P-нивото в този случай се оказва 0,003, което е много по-малко от 0,05. Има сериозни причини да се съмняваме в правилността на заровете. Ето как изглежда тази вероятност на хи-квадрат диаграма на разпределение.

Самият критерий хи-квадрат тук се оказва 17.8, което естествено е повече от табличния (11.1).

Надявам се, че успях да обясня какъв е критерият за добро качество. х 2(хи-квадрат) Пиърсън и как статистическите хипотези се тестват с него.

И накрая, още веднъж за едно важно условие! Тестът хи-квадрат работи правилно само когато броят на всички честоти надвишава 50 и минималната очаквана стойност за всяка градация е не по-малко от 5. Ако в която и да е категория очакваната честота е по-малка от 5, но сборът от всички честоти надвишава 50, тогава тази категория се комбинира с най-близката, така че общата им честота да надвишава 5. Ако това не е възможно или сборът от честотите е по-малък от 50, тогава трябва да се използват по-точни методи за проверка на хипотезите. Ще говорим за тях друг път.

По-долу е даден видеоклип за това как да тествате хипотеза с помощта на теста хи-квадрат в Excel.

В тази статия ще говорим за изследването на връзката между характеристиките или, както искате, произволни променливи, променливи. По-специално, ще анализираме как да въведем мярка за зависимост между характеристиките, използвайки теста Хи-квадрат и да го сравним с коефициента на корелация.

Защо това може да е необходимо? Например, за да се разбере кои характеристики са по-зависими от целевата променлива при конструиране на кредитен скоринг - определяне на вероятността за неизпълнение на клиента. Или, както в моя случай, за да разберете какви индикатори трябва да се използват за програмиране на търговски робот.

Отделно отбелязвам, че за анализ на данни използвам езика c#. Може би всичко това вече е внедрено в R или Python, но използването на c # за мен ми позволява да разбера темата в детайли, освен това това е любимият ми език за програмиране.

Нека започнем с много прост пример, нека създадем четири колони в Excel с помощта на генератор на произволни числа:
х=СЛУЧАЙНА МЕЖДУ(-100,100)
Й =х*10+20
З =х*х
т=СЛУЧАЙНА МЕЖДУ(-100,100)

Както можете да видите, променливата Йлинейно зависим от х; променлива Зквадратично зависи от х; променливи хи тнезависим. Направих този избор нарочно, защото ще сравним нашата мярка за зависимост с коефициента на корелация. Както знаете, между две случайни променливи е по модул 1, ако между тях най-твърдият тип зависимост е линейна. Има нулева корелация между две независими случайни променливи, но независимостта на коефициента на корелация не следва от равенството на коефициента на корелация. Ще видим това по-късно на примера с променливи. хи З.

Записваме файла като data.csv и започваме първите оценки. Първо, нека изчислим коефициента на корелация между стойностите. Не съм вмъквал кода в статията, той е в моя github. Получаваме корелацията за всички възможни двойки:

Може да се види, че за линейно зависими хи Йкоефициентът на корелация е 1. Но за хи Зтой е равен на 0,01, въпреки че задаваме зависимостта изрично З=х*х. Ясно е, че имаме нужда от мярка, която „усеща“ зависимостта по-добре. Но преди да преминем към теста Хи-квадрат, нека да разгледаме какво представлява матрицата за непредвидени обстоятелства.

За да изградим матрица за непредвидени обстоятелства, ние разбиваме диапазона от стойности на променливи на интервали (или категоризираме). Има много начини за такова разделяне, но няма универсален. Някои от тях са разделени на интервали, така че в тях попадат еднакъв брой променливи, други са разделени на интервали с еднаква дължина. Аз лично обичам да комбинирам тези подходи. Реших да използвам този метод: изваждам резултата от променливата. очаквания, тогава разделям резултата на оценката на стандартното отклонение. С други думи, центрирам и нормализирам произволната променлива. Получената стойност се умножава по коефициент (в този пример е равна на 1), след което всичко се закръглява до цяло число. Резултатът е променлива от тип int, която е идентификаторът на класа.

Така че нека вземем нашите знаци хи З, ние го категоризираме по описания по-горе начин, след което изчисляваме броя и вероятностите за поява на всеки клас и вероятностите за поява на двойки признаци:

Това е матрица по количество. Тук в редовете - броят на поява на променливи класове х, в колони - броят на поява на променливи класове З, в клетките - броят на поява на двойки класове по едно и също време. Например, клас 0 се среща 865 пъти за променлива х, 823 пъти за променлива Зи никога не е имал чифт (0,0). Нека преминем към вероятностите, като разделим всички стойности на 3000 (общия брой на наблюденията):

Получи матрица за непредвидени обстоятелства, получена след категоризиране на характеристиките. Сега е време да помислим за критерия. По дефиниция, случайните променливи са независими, ако сигма-алгебрите, генерирани от тези случайни променливи, са независими. Независимостта на сигма-алгебрите предполага двойна независимост на събитията от тях. Две събития се наричат ​​независими, ако вероятността за тяхното съвместно настъпване е равна на произведението на вероятностите за тези събития: Pij = Pi*Pj. Именно тази формула ще използваме за конструиране на критерия.

Нулева хипотеза: категоризирани характеристики хи Знезависим. Еквивалентно на него: разпределението на матрицата на непредвидените ситуации се дава единствено от вероятностите за поява на класове променливи (вероятностите на редове и колони). Или поне така: клетките на матрицата са продукт на съответните вероятности на редове и колони. Ще използваме тази формулировка на нулевата хипотеза, за да изградим правилото за решение: значително несъответствие между Pijи Pi*Pjще бъде основа за отхвърляне на нулевата хипотеза.

Let - вероятността за поява на клас 0 в променливата х. Общо имаме нкласове хи мкласове З. Оказва се, че за да зададем разпределението на матрицата, трябва да ги знаем ни мвероятности. Но всъщност, ако знаем n-1вероятност за х, то последното се намира чрез изваждане на сбора на останалите от 1. По този начин, за да намерим разпределението на матрицата на непредвидените ситуации, трябва да знаем l=(n-1)+(m-1)стойности. Или имаме л-мерно параметрично пространство, векторът от което ни дава желаното ни разпределение. Статистиката хи-квадрат ще изглежда така:

и според теоремата на Фишер имат разпределение хи-квадрат с n*m-l-1=(n-1)(m-1)степени на свобода.

Нека зададем нивото на значимост на 0,95 (или вероятността за грешка от тип I е 0,05). Нека намерим квантила на разпределението Хи-квадрат за даденото ниво на значимост и степени на свобода от примера (n-1)(m-1)=4*3=12: 21.02606982. Самата статистика хи-квадрат за променливите хи Зравно на 4088,006631. Вижда се, че хипотезата за независимост не се приема. Удобно е да се вземе предвид съотношението на хи-квадратната статистика към праговата стойност - в този случай то е равно на Chi2Coeff=194.4256186. Ако това съотношение е по-малко от 1, тогава хипотезата за независимост се приема; ако е по-голямо, тогава не. Нека намерим това съотношение за всички двойки характеристики:

Тук Фактор 1и фактор 2- имена на функции
src_cnt1и src_cnt2- броят на уникалните стойности на оригиналните характеристики
mod_cnt1и mod_cnt2- брой уникални стойности на характеристиките след категоризиране
chi2- Хи-квадрат статистика
chi2max- прагова стойност на статистиката Хи-квадрат за ниво на значимост от 0,95
chi2Coeff- съотношение на хи-квадрат статистика към праговата стойност
кор- коефициент на корелация

Вижда се, че те са независими (chi2coeff<1) получились следующие пары признаков - (X,T), (Y,T) и ( Z,T), което е логично, тъй като променливата тгенерирани на случаен принцип. Променливи хи Ззависим, но по-малко от линейно зависим хи Й, което също е логично.

Публикувах кода на помощната програма, която изчислява тези индикатори на github, на същото място файла data.csv. Помощната програма приема csv файл като вход и изчислява зависимостите между всички двойки колони: PtProject.Dependency.exe data.csv

За да получите статистически тестове за кръстосани таблици, щракнете върху бутона Статистика... в диалоговия прозорец Crosstabs. Ще се отвори диалоговият прозорец Crosstabs: Statistics (вижте фигура 11.9).

Ориз. 11.9:

Клетките за отметка в този диалогов прозорец ви позволяват да изберете един или повече критерии.

Хи-квадрат тест ( х 2)

Корелации

Мерки за свързаност за променливи, свързани с номиналната скала

Мерки за свързаност за променливи, свързани с редовната скала

Мерки за свързаност за променливи, свързани с интервалната скала

Капа коефициент ( да се)

Мярка за риска

Тест на Макнемар

Статистика на Cochran и Mantel-Haenzel

Тези тестове се обсъждат в следващите два раздела и тъй като тестът хи-квадрат е от голямо значение в статистическите изчисления, той е посветен на отделен раздел.

Хи-квадрат тест ( х 2)

При провеждане на тест хи-квадрат се проверява взаимната независимост на две променливи от таблицата за непредвидени ситуации и поради това косвеносе установява зависимостта на двете променливи. Две променливи се казва, че са взаимно независими, ако наблюдаваните честоти (f o) в клетките съвпадат с очакваните честоти (fe).

За да изпълните хи-квадрат тест със SPSS, следвайте тези стъпки:

Изберете от командното меню Анализ (Анализ) Описателна статистика (Описателна статистика) Кръстосани таблици... (Таблици за непредвидени ситуации)

Използвайте бутона Reset, за да изчистите възможните настройки.

Преместване на променлива секскъм списък с низове и променлива психика- към списъка с колони.

Щракнете върху бутона клетки...(клетки). В диалоговия прозорец, в допълнение към квадратчето за отметка по подразбиране Наблюдавани, поставете отметка в квадратчетата Очаквани и Стандартизирани. Потвърдете избора си с бутона Продължи.

Щракнете върху бутона Статистика...(Статистика). Отваря се диалоговият прозорец Crosstabs: Statistics, описан по-горе.

Поставете отметка в квадратчето Хи-квадрат. Щракнете върху бутона Продължи и в главния диалогов прозорец щракнете върху OK.

Ще получите следната таблица за непредвидени обстоятелства.

Пол * Психично състояние Таблица за непредвидени обстоятелства

В допълнение, резултатите от теста хи-квадрат ще бъдат показани в прозореца за преглед:

Хи-квадрат тестове

а. 2 клетки (25,0%) имат очакван брой по-малко от 5. Минималният очакван брой е 2,49

Три различни подхода се използват за изчисляване на теста хи-квадрат:

• Формулата на Пиърсън;
• корекция на достоверността;
• Тест на Мантел-Хензел.
• Ако кръстосаната таблица има четири полета (таблица 2 x 2) и очакваната вероятност е по-малка от 5, допълнително, Точният тест на Фишер.

Обикновено формулата на Пиърсън се използва за изчисляване на теста хи-квадрат:

Тук се изчислява сумата от квадратите на стандартизираните остатъци по всички полета на таблицата за непредвидени обстоятелства. Следователно полета с по-висок стандартизиран остатък допринасят повече за стойността на хи-квадрат и следователно за значим резултат. Съгласно правилото, дадено в раздел 8.9, стандартизиран остатък от 2 (1,96) или повече показва значително несъответствие между наблюдаваните и очакваните честоти в конкретна клетка на таблицата.

В този пример формулата на Пиърсън дава най-значимата стойност на теста хи-квадрат (стр<0,0001). Если рассмотреть стандартизованные остатки в отдельных полях таблицы сопряженности, то на основе вышеприведенного правила можно сделать вывод, что эта значимость в основном определяется полями, в которых переменная психикаозначава "изключително нестабилен". При жените тази стойност е силно повишена, а при мъжете е понижена.

Коректността наТестът хи-квадрат се определя от две условия:

• очаквани честоти< 5 должны встречаться не более чем в 20% полей таблицы;
• сумите на редове и колони винаги трябва да са по-големи от нула.

В разглеждания пример обаче това условие не е изпълнено напълно. Както показва бележката след таблицата за хи-квадрат, 25% от полетата имат очаквана честота по-малка от 5. Въпреки това, тъй като допустимата граница от 20% е само леко надвишена и тези полета, поради много малкия им стандартизиран остатък , допринасят много малка част от стойността на хи тест -квадрат, това нарушение може да се счита за незначително.

Алтернатива на формулата на Пиърсън за изчисляване на теста хи-квадрат е корекцията на вероятността:

При голям размер на извадката, формулата на Пиърсън и коригираната формула дават много близки резултати. В нашия пример тестът хи-квадрат с коригирана вероятност е 23,688.

Хи-квадрат Pearson е най-простият тест за значимостта на връзката между две категоризирани променливи. Критерият на Пиърсън се основава на факта, че в таблицата с два входа очакванчестотите при хипотезата "няма връзка между променливите" могат да бъдат изчислени директно. Представете си, че 20 мъже и 20 жени са попитани за избора им на сода (марка Аили марка Б). Ако няма връзка между предпочитание и пол, тогава естествено очаквамравен избор на марка Аи марки Бза всеки пол.

Значението на статистиката хи-квадрати неговото ниво на значимост зависи от общия брой наблюдения и броя на клетките в таблицата. В съответствие с принципите, разгледани в раздела , относително малки отклонения на наблюдаваните честоти от очакваните ще се окажат значителни, ако броят на наблюденията е голям.

Има само едно съществено ограничение за използването на критерия хи-квадрат(освен очевидното допускане за произволен избор на наблюдения), което е, че очакваните честоти не трябва да са много малки. Това е така, защото критерият хи-квадратпо природа проверки вероятностивъв всяка клетка; и ако очакваните честоти в клетките станат малки, например по-малко от 5, тогава тези вероятности не могат да бъдат оценени с достатъчна точност, като се използват наличните честоти. За допълнителна дискусия вижте Everitt (1977), Hays (1988) или Kendall and Stuart (1979).

Хи-квадрат тест (метод на максималната вероятност).максимален хи-квадрат на вероятносттае предназначен да тества същата хипотеза за връзките в кръстосани таблици като теста хи-квадратПиърсън. Изчислението му обаче се основава на метода на максималната вероятност. На практика депутатска статистика хи-квадратмного близо по величина до обичайната статистика на Пиърсън хи-квадрат. За повече информация относно тази статистика вижте Bishop, Fienberg и Holland (1975) или Fienberg (1977). В гл Лог Линеен анализтези статистически данни са разгледани по-подробно.

корекция на Йейтс.Приблизителна статистика хи-квадратза таблици 2x2 с малък брой наблюдения в клетки може да се подобри чрез намаляване на абсолютната стойност на разликите между очакваните и наблюдаваните честоти с 0,5 преди квадратурата (т.нар. корекция на Йейтс). Корекцията на Йейтс, която прави оценката по-умерена, обикновено се прилага, когато таблиците съдържат само малки честоти, например, когато някои очаквани честоти станат по-малки от 10 (за по-нататъшно обсъждане вижте Conover, 1974; Everitt, 1977; Hays, 1988 ; Кендъл и Стюарт, 1979 и Мантел, 1974).

Точният тест на Фишер.Този критерий се отнася само за маси 2x2. Критерият се основава на следните разсъждения. Като се имат предвид пределните честоти в таблицата, приемете, че и двете таблични променливи са независими. Нека си зададем въпрос: каква е вероятността да получим наблюдаваните в таблицата честоти на базата на дадените пределни? Оказва се, че тази вероятност е изчислена точнопреброяване на всички таблици, които могат да бъдат построени въз основа на маргиналните. Така се изчислява критерият на Фишер точенвероятността за поява на наблюдаваните честоти при нулевата хипотеза (липса на връзка между табличните променливи). Таблицата с резултати показва както едностранни, така и двустранни нива.

Хи-квадрат на Макнемар.Този критерий се прилага, когато честотите в таблицата 2x2 представляват зависимпроби. Например наблюдения на едни и същи индивиди преди и след експеримента. По-специално, можете да преброите броя на учениците с най-ниски резултати по математика в началото и края на семестъра или предпочитанията за едни и същи респонденти преди и след рекламата. Изчисляват се две стойности хи-квадрат: A/Dи B/C. A/D хи-квадраттества хипотезата, че честотите в клетките Аи д(горен ляв, долен десен) са еднакви. B/C хи-квадраттества хипотезата за равенство на честотите в клетките Би ° С(горе вдясно, долу вляво).

Коефициент Phi.фи-квадрате мярка за връзката между две променливи в таблица 2x2. Стойностите му варират от 0 (няма зависимост между променливите; хи-квадрат = 0.0 ) преди 1 (абсолютна връзка между два фактора в таблицата). Вижте Castellan and Siegel (1988, стр. 232) за подробности.

Тетрахорна корелация.Тази статистика се изчислява (и прилага) само за кръстосани таблици 2x2. Ако таблица 2x2 може да се разглежда като резултат от (изкуствено) разделяне на стойностите на две непрекъснати променливи в два класа, тогава тетрахорният коефициент на корелация позволява да се оцени връзката между тези две променливи.

Коефициент на конюгация.Коефициентът на непредвидени обстоятелства е статистически базиран хи-квадратмярка за връзката на характеристиките в таблицата за непредвидени обстоятелства (предложена от Pearson). Предимството на този коефициент пред обичайната статистика хи-квадратв това, че е по-лесно за тълкуване, т.к неговият обхват е в диапазона от 0 преди 1 (където 0 съответства на случая на независимост на знаците в таблицата, а увеличаването на коефициента показва увеличаване на степента на връзка). Недостатъкът на коефициента на непредвидени обстоятелства е, че максималната му стойност "зависи" от размера на таблицата. Този фактор може да достигне само 1, ако броят на класовете е неограничен (вж. Siegel, 1956, стр. 201).

Тълкуване на комуникационни мерки.Съществен недостатък на мерките за асоцииране (обсъдени по-горе) е трудността при тълкуването им в обикновени термини на вероятност или "част от обяснената вариация", както в случая с коефициента на корелация. rПиърсън (вижте Корелации). Следователно няма общоприета мярка или коефициент на асоцииране.

Статистика, базирана на ранг.При много проблеми, които възникват на практика, имаме измервания само в редовен мащаб (вж Елементарни понятия от статистиката). Това е особено вярно за измерванията в областта на психологията, социологията и други дисциплини, свързани с изучаването на човека. Да приемем, че сте интервюирали група респонденти, за да разберете тяхното отношение към определени спортове. Представяте измервания в скала със следните позиции: (1) винаги, (2) обикновено, (3) понякогаи (4) никога. Очевидно отговорът понякога се интересуватпоказва по-малък интерес на респондента от отговора обикновено се интересувати т.н. По този начин е възможно да се рационализира (ранжира) степента на интерес на респондентите. Това е типичен пример за порядкова скала. Променливите, измерени в порядкова скала, имат свои собствени видове корелация, които ви позволяват да оценявате зависимостите.

R Spearman.статистика РСпиърман може да се тълкува по същия начин като корелацията на Пиърсън ( rПиърсън) по отношение на обяснения дял на дисперсията (като се има предвид обаче, че статистиката на Спирман се изчислява от ранговете). Приема се, че променливите се измерват най-малко редовенмащаб. Изчерпателно обсъждане на корелацията на ранга на Спиърман, неговата сила и ефективност може да се намери например в Gibbons (1985), Hays (1981), McNemar (1969), Siegel (1956), Siegel and Castellan (1988), Kendall (1948). ), Olds (1949) и Hotelling and Pabst (1936).

Тау Кендъл.Статистика тауЕквивалент на Кендъл РСпирман при определени основни предположения. Също така еквивалентна на тяхната сила. Въпреки това, обикновено стойностите РСпирман и тауКендъл са различни, защото се различават както по вътрешната си логика, така и по начина, по който се изчисляват. В Siegel and Castellan (1988) авторите изразяват връзката между тези две статистики, както следва:

1 < = 3 * Тау Кендалла - 2 * R Спирмена < = 1

По-важното е статистиката на Кендъл тауи Спиърман Римат различни интерпретации: докато статистиката РСпирман може да се разглежда като пряк аналог на статистиката rПиърсън, изчислен по звания, статистика на Кендъл таупо-скоро въз основа на вероятности. По-точно, проверява се дали има разлика между вероятността наблюдаваните данни да са в еднакъв ред за две величини и вероятността те да са в различен ред. Кендъл (1948, 1975), Еверит (1977) и Сийгъл и Кастелан (1988) обсъждат много подробно тауКендъл. Обикновено се изчисляват два варианта на статистиката тауКендъл: тау би тау ° С. Тези мерки се различават само по начина, по който се обработват припокриващите се редове. В повечето случаи техните значения са доста сходни. Ако възникнат разлики, тогава изглежда, че е най-сигурният начин да се вземе предвид по-малката от двете стойности.

Коефициент на Зомер d: d(X|Y), d(Y|X).Статистика д Sommer е несиметрична мярка за връзката между две променливи. Тази статистика е близка до тау б(Вж. Siegel and Castellan, 1988, стр. 303-310).

Гама статистика.Ако има много съвпадащи стойности в данните, статистиката гамаза предпочитане Р Spearman или тауКендъл. По отношение на основните предположения, статистика гамае еквивалентен на статистиката РСпиърман или Тау Кендъл. Неговата интерпретация и изчисления са по-подобни на тау статистиката на Кендъл, отколкото на R статистиката на Спирман. Накратко, гамаСъщо така е вероятност; по-точно, разликата между вероятността ранговият ред на две променливи да съвпада, минус вероятността да не съвпада, разделена на едно минус вероятността за съвпадение. Така че статистиката гамапо същество еквивалентни тауКендъл, с изключение на това, че съвпаденията са изрично взети предвид при нормализирането. Подробно обсъждане на статистиката гамаможе да се намери в Goodman and Kruskal (1954, 1959, 1963, 1972), Siegel (1956) и Siegel and Castellan (1988).

Коефициенти на неопределеност.Тези съотношения измерват информационна връзкамежду факторите (редове и колони на таблицата). концепция информационна зависимостпроизхожда от информационно-теоретичния подход към анализа на честотните таблици, може да се обърне към съответните ръководства за изясняване на този въпрос (виж Kullback, 1959; Ku and Kullback, 1968; Ku, Varner, and Kullback, 1971; виж също Bishop , Fienberg, and Holland, 1975, стр. 344-348). Статистика С(Y, X) е симетричен и измерва количеството информация в променлива Йспрямо променливата хили в променлива хспрямо променливата Й. Статистика S(X|Y)и S(Y|X)изразяват насочена връзка.

Многоизмерни отговори и дихотомии. Променливи като многовариантни отговори и многовариантни дихотомии възникват в ситуации, в които изследователят се интересува не само от „простите“ честоти на събитията, но и от някои (често неструктурирани) качествени свойства на тези събития. Естеството на многоизмерните променливи (фактори) се разбира най-добре чрез примери.

• · Многовариантни отговори
• · Многоизмерни дихотомии
• Кръстосана таблица на многовариантни отговори и дихотомии
• Сдвоена кръстосана таблица на променливи с многовариантни отговори
• · Заключителен коментар

Многоизмерни отговори.Представете си, че в хода на голямо маркетингово проучване сте помолили клиентите да посочат топ 3 безалкохолни напитки от тяхната гледна точка. Типичен въпрос може да изглежда така.

При провеждане на хи-квадрат тест се проверява взаимната независимост на две променливи от таблицата на непредвидените ситуации и поради това косвено се разкрива зависимостта на двете променливи. Две променливи се казва, че са взаимно независими, ако наблюдаваните честоти (f 0) в клетките съвпадат с очакваните честоти (fe).

За да изпълните хи-квадрат тест със SPSS, следвайте тези стъпки:

• Изберете команди от менюто Анализирам(Анализ) > Описателна статистика(Описателна статистика) > Кръстосани таблици…(Таблици за непредвидени ситуации)
• бутон нулиране(Нулиране) изчистете възможните настройки.
• Преместете променливата пол в списък с редове и променливата психика в списък с колони.
• Щракнете върху бутона клетки…(клетки). В диалоговия прозорец поставете отметка в допълнение към квадратчето за отметка по подразбиране Наблюдаваното, още квадратчета за отметка очаквани стандартизиран. Потвърдете избора си с бутона продължи.
• Щракнете върху бутона Статистика…(Статистика).

Ще се отвори диалоговият прозорец, описан по-горе. Кръстосани таблици: Статистика.

• Квадратче за отметка Хи-квадрат(Хи-квадрат). Щракнете върху бутона продължи, а в главния диалогов прозорец - to Добре.

Ще получите следната таблица за непредвидени обстоятелства.

Пол * Психично състояние. Таблица за непредвидени обстоятелства.

В допълнение, резултатите от теста хи-квадрат ще бъдат показани в прозореца за преглед:

Хи-квадрат тестове

• а. 2 клетки (25,0%) имат очакван брой по-малко от 5. Минималният очакван брой е 2,49

За изчисляване на теста хи-квадрат се използват три различни подхода: формулата на Пиърсън, корекцията на вероятността и тестът на Мантел-Хензел. Ако кръстосаната таблица има четири полета и очакваната вероятност е по-малка от 5, точният тест на Фишер се извършва допълнително.

Хи-квадрат тест на Пиърсън

Обикновено формулата на Пиърсън се използва за изчисляване на теста хи-квадрат:

Тук се изчислява сумата от квадратите на стандартизираните остатъци по всички полета на таблицата за непредвидени обстоятелства. Следователно полета с по-висок стандартизиран остатък допринасят повече за стойността на хи-квадрат и следователно за значим резултат. Съгласно правилото, дадено в раздел 8.7.2, стандартизиран остатък от 2 или повече показва значително несъответствие между наблюдаваните и очакваните честоти.

В примера, който разглеждаме, формулата на Пиърсън дава най-значимата стойност на теста хи-квадрат (p<0.001). Если рассмотреть стандартизованные остатки в отдельных полях таблицы сопряженности, то на основе вышеприведенного правила можно сделать вывод, что эта значимость в основном определяется полями, в которых переменная psyche имеет значение "крайне неустойчивое". У женщин это значение сильно повышено, а у мужчин - понижено.

Коректността на теста хи-квадрат се определя от две условия: първо, очакваните честоти< 5 должны встречаться не более чем в 20% полей таблицы; во-вторых, суммы по строкам и столбцам всегда должны быть больше нуля.

В разглеждания пример обаче това условие не е изпълнено напълно. Както показва бележката след таблицата за хи-квадрат, 25% от полетата имат очаквана честота по-малка от 5. Въпреки това, тъй като допустимата граница от 20% е само леко надвишена и тези полета, поради много малкия им стандартизиран остатък , допринасят много малка част от стойността на теста хи-квадрат квадрат, това нарушение може да се счита за незначително.

тест хи-квадрат с коригирана вероятност

Алтернатива на формулата на Пиърсън за изчисляване на теста хи-квадрат е корекцията на вероятността:

При голям размер на извадката, формулата на Пиърсън и коригираната формула дават много близки резултати. В нашия пример тестът хи-квадрат с коригирана вероятност е 23,688.

Тест на Мантел-Хензел

Освен това в таблицата за непредвидени ситуации под обозначението линеен по линеен("линейно към линейно") се показва стойността на теста на Мантел-Хензел (20,391). Тази форма на теста хи-квадрат на Мантел-Хензел е друга мярка за линейната връзка между редове и колони на кръстосана таблица. Дефинира се като произведението на коефициента на корелация на Пиърсън, умножен по броя на наблюденията минус едно:

Така полученият критерий има една степен на свобода. Методът Mantel-Haenszel винаги се използва, когато диалоговият прозорец Кръстосани таблици: Статистикапроверено Хи-квадрат. Въпреки това, за данни, свързани с номиналната скала, този критерий не е приложим.