Какви са съображенията при използване на линейния дискриминантен анализ на Фишер за класификация?
Когато става въпрос за класификационни задачи в анализа на данни, линейният дискриминантен анализ на Фишер (FLDA) е мощна и широко използвана техника. Като доставчик на Fisher съм бил свидетел на практическите приложения на продуктите, свързани с Fisher, в различни индустрии и също така разбирам теоретичните и практическите аспекти на линейния дискриминантен анализ на Fisher. В този блог ще обсъдя ключовите съображения при използването на линейния дискриминантен анализ на Фишер за класификация.
1. Разбиране на основите на линейния дискриминантен анализ на Фишер
Линейният дискриминантен анализ на Фишър е разработен от Роналд А. Фишър през 1936 г. Основната цел на FLDA е да намери линейна комбинация от характеристики, която увеличава максимално разделянето между различните класове, като същевременно минимизира дисперсията във всеки клас. Математически, ако имаме два класа (C_1) и (C_2), искаме да намерим проекционен вектор (\mathbf{w}), така че съотношението на дисперсията между класове към дисперсията в класа да е максимално.
Различието между класове (S_B) и вътрекласово отклонение (S_W) се дефинира, както следва:
Нека (\mathbf{m}_1) и (\mathbf{m}_2) са средните вектори от клас (C_1) и (C_2) съответно, а (N_1) и (N_2) са броят на извадките във всеки клас.
(S_B=(\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}2)^T)
(S_W=\сума{i\in C_1}(\mathbf{x}_i-\mathbf{m}_1)(\mathbf{x}_i - \mathbf{m}1)^T+\сума{i\in C_2}(\mathbf{x}_i-\mathbf{m}_2)(\mathbf{x}_i - \mathbf{m}_2)^T)
Оптималният проекционен вектор (\mathbf{w}) се дава от (\mathbf{w}=S_W^{-1}(\mathbf{m}_1 - \mathbf{m}_2))
Преди да приложите FLDA, е изключително важно да имате ясно разбиране на тези основни понятия. Това знание ще помогне при интерпретирането на резултатите и вземането на подходящи решения по време на процеса на класифициране.
2. Предварителна обработка на данни
2.1 Избор и извличане на функции
Качеството на входните функции оказва значително влияние върху производителността на FLDA. Неуместни или излишни характеристики могат да увеличат изчислителната сложност и да намалят точността на класификацията. Като доставчик на Fisher знам, че в индустриални приложения, като тези, включващиDvc2000 Цифров вентилен контролер, данните може да съдържат голям брой показания на сензора. Избирането на най-подходящите характеристики, свързани с работата на клапана, като налягане, дебит и позиция на клапана, може да подобри ефективността на FLDA.
Техники за извличане на характеристики, като например анализ на основните компоненти (PCA), също могат да се използват в комбинация с FLDA. PCA може да трансформира оригиналните функции в нов набор от некорелирани променливи, които след това могат да се използват като входни данни за FLDA. Това може да намали размерността на данните и да направи процеса на класифициране по-ефективен.
2.2 Нормализиране на данните
FLDA е чувствителен към мащаба на входните характеристики. Характеристики с големи отклонения могат да доминират в анализа, което води до неточни резултати. Поради това е необходимо да се нормализират данните преди прилагането на FLDA. Обичайните методи за нормализиране включват min - max нормализация и z - нормализиране на резултата.
Min - max нормализирането мащабира данните до фиксиран диапазон, обикновено ([0, 1]):
(x_{norm}=\frac{x - x_{min}}{x_{max}-x_{min}})
Z - нормализирането на резултата стандартизира данните, за да имат средна стойност 0 и стандартно отклонение 1:
(x_{norm}=\frac{x-\mu}{\sigma})
където (\mu) е средната стойност и (\sigma) е стандартното отклонение на характеристиката.
3. Допускания на линейния дискриминантен анализ на Фишер
3.1 Гаусово разпределение на класовете
FLDA приема, че всеки клас следва разпределение на Гаус. В реални приложения това предположение може да не е винаги валидно. Например, в случай наПреобразувател Fisher 846, данните, събрани от преобразувателя, може да имат негаусово разпределение поради шум или необичайни работни условия. Когато допускането на Гаус е нарушено, производителността на FLDA може да се влоши. В такива случаи алтернативни методи за класификация, като непараметрични методи или методи, базирани на ядрото, може да са по-подходящи.
3.2 Матрици на равни ковариации
FLDA също така приема, че всички класове имат една и съща ковариационна матрица. Ако това предположение не е изпълнено, изчисленият проекционен вектор може да не е оптимален. В индустриални приложения различни режими на работа на aКонтролер Fisher DLC3010може да доведе до различни ковариационни матрици за различните класове. За справяне с този проблем може да се използва квадратичен дискриминантен анализ (QDA) вместо FLDA. QDA облекчава предположението за равна ковариационна матрица и може да осигури по-добро представяне на класификацията, когато ковариационните матрици са различни.
4. Оценка и валидиране на модела
4.1 Показатели за ефективност
След прилагане на FLDA за класификация е необходимо да се оцени ефективността на модела. Общите показатели за ефективност включват точност, прецизност, припомняне и F1 - резултат.
Точността е делът на правилно класифицираните проби:
(Точност=\frac{TP + TN}{TP+TN + FP+FN})
където (TP) е броят на истинските положителни резултати, (TN) е броят на истинските отрицателни резултати, (FP) е броят на фалшивите положителни резултати и (FN) е броят на фалшивите отрицателни резултати.
Прецизността измерва дела на истинските положителни резултати сред прогнозираните положителни резултати:
(Прецизност=\frac{TP}{TP + FP})
Recall измерва дела на истинските положителни резултати сред действителните положителни резултати:
(Recall=\frac{TP}{TP+FN})
Резултатът F1 е средната хармонична стойност на прецизността и припомнянето:
(F1 - резултат = 2\times\frac{Precision\times Recall}{Precision + Recall})
4.2 Кръстосано валидиране
Кръстосаното валидиране е широко използвана техника за валидиране на модели. Това включва разделяне на данните на множество подмножества, обучение на модела върху подмножество от данни и тестването му върху останалото подмножество. Общите методи за кръстосано валидиране включват k - сгъване с кръстосано валидиране и оставяне - еднократно кръстосано валидиране. K – кръстосано сгъване – валидирането разделя данните на (k) равни подмножества и моделът се обучава и тества (k) пъти, като всеки път се използва различно подмножество като тестово множество. Оставяне - едно - изходно кръстосано - валидиране използва всички извадки с изключение на една за обучение и останалата проба за тестване.
5. Изчислителна сложност
Изчислителната сложност на FLDA зависи от броя на пробите (N) и броя на характеристиките (d). Основните изчислителни стъпки в FLDA включват изчисляване на средните вектори, ковариационни матрици и решаване на проблема със собствения вектор. Времевата сложност на изчисляване на ковариационните матрици е (O(Nd^2)), а времевата сложност на решаването на проблема със собствения вектор е (O(d^3)).
В широкомащабни набори от данни изчислителните разходи могат да бъдат значителен проблем. Като доставчик на Fisher знам, че в приложения с големи данни, свързани с индустриални системи за управление, обемът на данните може да бъде изключително голям. За намаляване на изчислителната сложност могат да се използват техники като инкрементален FLDA или приблизителни методи.
6. Многокласова класификация
Въпреки че основната форма на FLDA е предназначена за двоична класификация, тя може да бъде разширена до многокласова класификация. Един често срещан подход е методът „един срещу остатък“ (OvR), при който за всеки клас двоичен класификатор се обучава да разграничава този клас от останалите класове. Друг подход е методът едно срещу едно (OvO), при който двоичен класификатор се обучава за всяка двойка класове.
Когато се работи с многокласова класификация с помощта на FLDA, е важно да се вземе предвид компромисът между броя на двоичните класификатори и изчислителната сложност. Методът OvR изисква по-малко класификатори, но може да е по-малко точен, докато методът OvO изисква повече класификатори, но може да осигури по-добра производителност в някои случаи.
Заключение
Линейният дискриминантен анализ на Фишър е ценен инструмент за класификационни задачи, но изисква внимателно разглеждане на различни фактори. От предварителната обработка на данни до оценката на модела, всяка стъпка играе решаваща роля за успеха на процеса на класификация. Като доставчик на Fisher, аз съм добре запознат с практическите предизвикателства в промишлените приложения и значението на използването на подходящи техники за осигуряване на точност и ефективност на класификацията.
Ако се интересувате от използването на линейния дискриминантен анализ на Fisher за вашите класификационни задачи или се нуждаете от продукти, свързани с Fisher, като напр.Dvc2000 Цифров вентилен контролер,Преобразувател Fisher 846, илиКонтролер Fisher DLC3010, моля не се колебайте да се свържете с нас за доставка и допълнителни дискусии.
Референции
- Fisher, RA (1936). Използването на множество измервания в таксономични проблеми. Анали на евгениката, 7(2), 179 - 188.
- Епископ, CM (2006). Разпознаване на образи и машинно обучение. Спрингър.
- Duda, RO, Hart, PE, & Stork, DG (2001). Класификация на моделите. Уайли.