Diskuse:Metoda nejmenších čtverců

Nalezení průsečíku několika nadrovin v prostoru

Nemám z tohoto článku dobrý pocit a nejsem sám. Příklad ze sekce "nalezení průsečíku nadrovin" je vyloženě vadný. Např. pokud přeformulujeme původní zadání:

$u+v=0,\quad 2u-v-4=0,\quad u-y-2=0,$

jako:

$u+v=0,\quad 4u-2v-8=0,\quad u-y-2=0,$

Tak místo průsečíku [1.286; -1.143] vyjde průsečík [1.364; -1,182]. Přitom rovnice definují stejné přímky. Pokud to autoři v dohledné době neopraví, tak ten odstavec smažu, takhle by to opravdu nešlo. Vůbec jsou tu ty články o matematice často "velká věda", ale když se podíváte trochu do hloubky, tak zjistíte že je to trapný blábol. --193.165.212.242 3. 8. 2011, 12:07 (UTC)

zdravim priklad tu je dele ale prepracoval jsem ho naposledy asi ja. uznavam, ze neni nejstastnejsi a ja bych byl klidne pro ho smazat uz od zacatku. u nejmensich ctvercu tu bylo hodne hlouposti ktere jsem daval dohromady ale nemazal jsem vsechno. k vasemu protiprikladu; nehleda se tu prusecik, protoze ten (v tomto konkretnim pripade) neexistuje (coz je v textu explicitne zmineno). hledame takovy bod, ktery bude jednoznacne definovan, a v pripade, ze bude prusecik existovat a bude jednoznacny, tak s nim splyne. coz tam je snad taky naznaceno, mozna nesikovne. samozrejme ze vynasobenim jedne rovnice dvema tento bod posunete, protoze zmenite normu, ve ktere se provadi minimalizace, presneji normu

$||x||_{2}=(x_{1}^{2}+x_{2}^{2}+x_{3}^{3})^{1/2},$

nahradite vazenou normou

$||x||_{w}=(x_{1}^{2}+4x_{2}^{2}+x_{3}^{3})^{1/2}.$

tolik ke zmene polohy bodu. uznavam, ze to neni nejlepsi motivace k prikladu ale vychazel jsem z toho, co tu bylo. moznosti jsou: smazat motivaci vcetne obrazku (a nechat jen algebru; obrazek je bez povidani o prusecicich zavadejici); nebo smazat celou sekci, protoze priklad sam bez motivace neni nicim zajimavy, ani napomocny vykladu. 129.132.146.66 17. 8. 2011, 10:51 (UTC)

Pretrvava stale duvod k umisteni ramecku do textu? Domnivam se ze nikoliv. Priklad je neni stastny ale je vporadku. 78.80.184.204 12. 9. 2011, 07:00 (UTC)

Výhrady k článku

Zatí mi ten článek připadá napsaný moc složitě. Asi by měl nejprve obsahovat popis a kuchařku, až pak odvození, důkaz a příklady. Chybí i poznámky o korelačním koeficientu a intervalu spolehlivosti. --Postrach 22:01, 20. 6. 2007 (UTC)

Vidím to podobně. MNŠ trochu znám, podstata věci mi v tomto článku připadá trochu zamlžená, postrádám hlavně srozumitelnou formulaci úlohy. Totiž že je daná určitá funkce, dejme tomu f(x1,x2,...,beta1,beta2,...). Pak je daná množina bodů <xx1[1],xx2[1],...,yy[1]>, <xx1[2],xx2[2],...,yy[2]>, ..., <xx1[n],xx2[n],...,yy[n]>. Úloha je najít takové koeficienty beta1,beta2,... , aby funkce E = Suma {y[j]-f(xx1[j],xx2[j],...,beta1, beta2, ...)}² byla minimální. V podstatě jde o to, jak co nejlépe proložit dané body zvolenou funkcí, typicky jde o změřené hodnoty.

• Když je funkce f ve tvaru f = beta1*g1(x1,x2,...) + beta2*g2(x1,x2,...) + ... , kde funkce g nejsou závislé na koeficientech beta, tak je to lineární MNŠ, je to poměrně jednoduché a proto se to často používá. Tehdy stačí najít řešení soustavy rovnic dE/d(beta_i=0 (místo d si představte znak pro parciální derivaci), což je soustava lineárních rovnic. Podstatné je, aby funkce g1, g2, ... nebyly navzájem lineárně závislé a aby jich nebylo více než bodů které prokládáme. Řešení soustavy lineárních rovnic, je standardní záležitost (a patří to do článku o MNŠ? tady je tomu věnováno celkem dost místa). Jestli se z tohoto dělá velká věda, tak je to špatně, protože to žádná velká věda není (snad jedině když je třeba řešit hodně rozsáhlou soustavu linárních rovnic, ale to patří do článku o soustavě lineárních rovnic, ne do článku o MNŠ).
• Když funkce f není ve tvaru f = beta1*g1(x1,x2,...) + beta2*g2(x1,x2,...) + ..., tak je to nelineární regrese, řeší se to numerickými metodami, je to velká věda a je to na samostatný článek, který rád přenechám matematikům na slovo vzatým co rádi používají formulace nesrozumitelné "plebsu" co nemá aspoň matfyz.
• MNŠ se používá např. pro prokládání funkcí změřenými hodnotami, takže tady chybí případ kdy změřené hodnoty mají různou důvěryhodnot, tj. vážená MNŠ. Např. při sledování dynamického procesu mohou mít starší hodnoty menší váhu. --Pteryx 1. 8. 2011, 10:00 (UTC)

Musím souhlasit s tím co je psáno výše a také s tím starším názorem pána dole v diskusi. Článek je nepřehledně přeplácaný technikami, které se používají jen k velmi specif. účelům, ale o obecných postupech tu není ani písmeno. Samotný smysl metody nejmenších čtverců se v článku úplně ztrácí. Chybí tu propojení s numerickou matematikou, příp. odkazy na články o numerických metodách minimalizace. Konfidenční intervaly taky nic. Reziduální analyza, která k regresi jako takové patří taky. Ani ty pojmy tu nejsou uvedeny aby si to čtenář alespoň mohl vyhledat. Článek jako celek uvádí čtenáře v omyl, že metoda nejmenších čtverců je jen o lineární regresi v jejich různých podobách. Sice tu je regrese polynomem, ale v praxi se většinou používají mechanistické modely, kde při regresi analyticky postupovat zpravidla nelze (proto píšu o té numerice). Rovněž tu není ani slovo o aplikaci této metody na modely zapsané v diferenciálním tvaru, což je má veliké praktické uplatnění. atd.

(Vetsinu vyznamnych editaci od prosince 2006 mam na svedomi ja, tak se zkusim vyjadrit.) Clanek jsem doplnoval prave jako takovy seznam vzorcu, ktere jsem pouzil, kdyz jsem ruznym lidem programoval ruzne semestralky. Ze je clanek slozity, to nepopiram. Ale jak ho zjednodusit, to nevim. Bohuzel metodou nejmensich ctvercu se nazyva asi vse, kde se umocnuje, scita a pocita odchylka. :) (Proto napriklad aproximaci polynomem lze provest dvema zpusoby. Jeden je na zacatku, kdy koeficienty jsou resenim soustavy rovnic, kde v matici je mraky sum. A druhy je ke konci, kdy si sestavim obvykle preurcenou soustavu rovnic a pouziju klasicke inv(A'*A)*A'*b.)

Obavam se, ze kucharka by byla dlouha. Zkusim zde uvest ty nejdulezitejsi vztahy, ktere by mela obsahovat:

• linearni regrese: y = a*x + b

$a={\frac {n\sum {x_{i}y_{i}}-\sum {x_{i}}\sum {y_{i}}}{n\sum {x_{i}^{2}}-\left(\sum {x_{i}}\right)^{2}}}$

$b={\frac {\sum {x_{i}^{2}}\sum {y_{i}}-\sum {x_{i}}\sum {x_{i}y_{i}}}{n\sum {x_{i}^{2}}-\left(\sum {x_{i}}\right)^{2}}}$

• parabola: y = a*x^2 + b*x + c

${\begin{matrix}a\sum {x_{i}^{4}}&+&b\sum {x_{i}^{3}}&+&c\sum {x_{i}^{2}}&=&\sum {y_{i}x_{i}^{2}}\\a\sum {x_{i}^{3}}&+&b\sum {x_{i}^{2}}&+&c\sum {x_{i}}&=&\sum {y_{i}x_{i}}\\a\sum {x_{i}^{2}}&+&b\sum {x_{i}}&+&c\cdot n&=&\sum {y_{i}}\end{matrix}}$

• polynom jako dusledek predchoziho

$P_{k}(x)=p_{0}+p_{1}x+\ldots +p_{k}x^{k}$

$\left[{\begin{matrix}n&\sum {x_{i}}&\cdots &\sum {x_{i}^{k}}\\\sum {x_{i}}&\sum {x_{i}^{2}}&\cdots &\sum {x_{i}^{k+1}}\\\vdots &\vdots &\ddots &\vdots \\\sum {x_{i}^{k}}&\sum {x_{i}^{k+1}}&\cdots &\sum {x_{i}^{2k}}\end{matrix}}\right]\cdot \left[{\begin{matrix}p_{0}\\p_{1}\\\vdots \\p_{k}\end{matrix}}\right]=\left[{\begin{matrix}\sum {y_{i}}\\\sum {y_{i}x_{i}}\\\vdots \\\sum {y_{i}x_{i}^{k}}\end{matrix}}\right]$

• preurcena / neourcena soustava rovnic, tam skutecne nejvic mista zabira odvozeni

$\mathbf {x} =\left(\mathbf {A} ^{T}\mathbf {A} \right)^{-1}\mathbf {A} ^{T}\mathbf {b}$

• polynom jako preurcena soustava

$\mathbf {A} =\left[{\begin{matrix}1&x_{1}&\ldots &x_{1}^{k}\\1&x_{2}&\ldots &x_{2}^{k}\\\vdots &\vdots &&\vdots \\1&x_{n}&\ldots &x_{n}^{k}\end{matrix}}\right],\quad \mathbf {x} =\left[{\begin{matrix}p_{0}\\p_{1}\\\vdots \\p_{k}\end{matrix}}\right],\quad \mathbf {b} =\left[{\begin{matrix}y_{0}\\y_{1}\\\vdots \\y_{n}\end{matrix}}\right],\quad \mathbf {e} =\left[{\begin{matrix}e_{0}\\e_{1}\\\vdots \\e_{n}\end{matrix}}\right]$

Kdyz koukam na nahled, tak zatim neni prilis dlouhe. Jenze kdyz se ke kazdemu vzorecku prida odstavecek textu s vysvetlenim a kdyz se pak stejne ty same vzorce objevi o kus dal i s odvozenim a prikladem, tak me ta kucharka zase tolik nelaka. (Jeste tam nejsou ty Vase statisticke vzorecky a take napr. linearizace, pokud chci pouzit napr. funkci c*exp(x*a)...) Osobne se zkratka priklanim k verzi, kde je uveden problem, vysvetleno, jak si pro dany problem prizpusobit metodu nejmensich ctvercu a nakonec priklad.

Zkuste byt prosim konkretnejsi, co kam presunout, co vynechat. Ja bych tak maximalne zmenil nazev kapitoly "Jak přesně funguje metoda nejmenších čtverců?", protoze tam se spise jedna o velmi strucny uvod. Dale bych zkratil nazev kapitoly "Příklad: aplikace metody nejmenších čtverců na lineární závislost (metoda lineární regrese)" a v jejim uvodu zminil, ze x_i a y_i jsou empiricky zjistene prvky, ktere se prave snazim aproximovat funkci f(x). Dale bych priklad s parabolou dal pod nejaky spolecny nadpis s prikladem s primkou, protoze postup je v stejny a funguje i pro dalsi polynomy. Ve stejne skupine by bylo mozne zminit i linearizaci v priade c*exp(a*x). Co se tyka nedourceny/preurcenych soustav, tak tam je mozna uvod do problematiky prilis polopaticky, ale to jako autor prilis nepoznam. Co se dvou zpusobu odvozeni inv(A'*A)*A'*b tyka, tak to strucneji moc nepujde, ale asi by se to dalo posunout vic dozadu. Priklady s preurcenou soustavou a polynomem jsou mozna prilis polopaticke. --Jx 00:47, 21. 6. 2007 (UTC)

Podle mne by tady měla být jen obecná metoda - a to rozepsná nejen v maticích, ale i jako součet funkcí (pro lidi, kteří z maticového zápisu hned nevidí tvar rovnic). Lineární regrese tu nemá co dělat - má svůj článek, takže tam se schová všechno o ní. Podobně parabolu bych uklidil do hesla kvadratická regrese (ten název se používá, nejsem si ale jist, je-li formálně úplně správný). V obecném článku bych oboje zmínil jako příklady a dál je nepitval. Odvození by mlo být až na konci pro fajnšmekry - většina lidí potřebuje pochopit, jak metodu použít. Alespoň já, když jsem stuoval, jsem s tímhle měl větší problém,než pak pojmout odvození.

Polynomiální regresi bych opět uvedl buď do samostatného článku, nebo jen stručně jako příklad. Podobně jako regresi s funkcemi s více parametry. Tenhle článek bych navrhoval věnovat jen obecné metodě nejmenších čtverců pro rovnice typu a1.f1(x)+a2.f2(x)+a3.f3(x)+ ... (omlouvám se za nepoužití texu, ale než bych prostřelil syntaxi, uplynula by hodina) --Postrach 04:56, 21. 6. 2007 (UTC)

Obecna metoda: Zrejme myslite neco na tenhle zpusob [1]. Priznam se, ze tento zpusob odvozeni jsem videl poprve vcera. Docela to jde, akorat tam zrovna postupuji od slozitejsiho k jednodussimu. Nejdriv obecne y=f(x,b1,b2,...), potom uz pouze y=b1*f1(x)+b2*f2(x)+... a pak uz jenom y=k*x+q.

Linearni, kvadratickou (ten nazev vidim poprve, ale nepochybuji, ze muze existovat) a polynomialni regresi bych klidne vyclenil do samostatnych clanku. A jeste clanek "nelinearni regrese" (napr. f(x)=c*exp(a*x), ale to uz zase muze byt na samostatny clanek "exponencialni regrese").

No a otazka, co s tou pasazi okolo preurcenych/nedourcenych rovnic? U nas ve skole se tomu taky rika metoda nejmensich ctvercu. I kdyz uy jsem zahledl i nazvy "leva inverzni matice" a "pseudoinverzni matice", treba by to slo strcit tam. (Trochu to pripomina en:Pseudoinverse.) Na druhou stranu v clanku en:Least squares ten vzorecek inv(A'*A)*A'*b taky uvadeji (bez odvozeni, pak je jeste v en:Linear regression, nejake odvozeni je v en:Least-squares estimation of linear regression coefficients). Kdyz o tom tak premyslim, tak zrovna tenhle vzorec je skvele pouzitelny na vsechny Vase problemy typu y=b1*f1(x)+b2*f2(x)+..., akorat ze pri tomto zpusobu reseni jsou ty sumy schovane v soucinech a inverzich matic. --Jx 08:54, 21. 6. 2007 (UTC)

Já mám ten poslední vzoreček celkem rád - pokud píšu program, udělám si maticové operace a pak je už jen použiju. Že se jde hned do nejsložitější metody nevadí - jednodušší budou v sam. heslech, každý si k nim může odskočit. Ty nedourčené rovnice také moc nevím. --Postrach 09:34, 21. 6. 2007 (UTC)

Jeste me napada jeden zadrhel: co vsechno vlastne je linearni regrese? Bud jenom prolozeni primkou. Nebo jakakoliv funkce f(x,b1,b2,...), kterou lze napsat jako linearni kombinaci b1*f1+b2*f2+... V tom druhem pripade, ke kteremu se priklanim, by tady z toho clanku zbyl v podstate jenom jenom ukecany rozcestnik a naopak clanek Lineární regrese vyznamne naroste. (I kdyz parabola a polynom muzou mit vlastni clanek s odkazem, ze se jedna o zvlastni pripady linearni regrese.)

Vas vzorecek (b1*f1+...) bych asi dal do linearni regrese, s poznamkou, ze nekdo linearni regresi mysli aproximaci primkou a nekdo cokoliv linearniho. Ty moje preurcene rovnice bych nechal bud tady, dokud nekdo nenapise o pseudoinverznich maticich, levych inverznich maticich, atd..., ale to neni moje parketa. Priklad s preurcenou rovnici by mohl jit do clanku Přeurčená soustava rovnic. Mozna by tam mohlo jit i cele odvozeni, mam takove tuseni, ze u nedourcenych to bude trochu jinak, ale s temi se "v praxi" nesetkavam. Nasledujici priklad s polynomem by byl v clanku [Polynomialni/Polynomicka? regrese], tam by se mohl potkat s polynomem resenym "Vasim stylem" (dS/dp0=0, dS/dp1=0, ...), ktery je momentalne v prvni pulce clanku.

Ono vlastne, kdyz se krome uvodu vsechno zaradi do jinych clanku, tak tady v tomto clanku vlastne vznikne dost mista na tu kucharku (napr. "Pokud chcete aproximovat primkou y=k*x+p, potom viz [Linearni regrese] nebo pouzijte vzorec k=..., q=..." nebo si sestavte matice a ... Pokud chcete parabolu y=a*x^2+b*x+c, tak viz [Kvadraticka regrese] nebo matice ... a vzorec ...)

--Jx 15:05, 21. 6. 2007 (UTC)

Re: Lineární regrese

Pánové, o "metodě nejmenších čtverců" jsem zde na wikipedii napsal první článek. Nevím kdo ho kolikrát editoval, ale kdybyste zachovali kompletně úvodní část měli byste naprosto přesnou definici co se míní pojmem "lineární regrese" a co se míní pojmem "regrese" a "aproximace" atd. Pokud si významem slov nejste jistí, pak před psaním článku doporučuji si taková hesla vyhledat alespoň v odborném slovníku. Jinak můj názor na zeditovanou stránku je asi takový, že spousta věcí sem vůbec nepatří, protože se jedná o věci specalizované, příp. téměř neužívané nebo užívané jen k jednomu účelu. Stejně tak byste sem rovnou mohli psát o numerických optimalizačních metodách, protože se používají pro regresi složitými funkcemi. Zde by měla být jen zmíňka o nástrojích a postupech, která se používají. Příp. zmíňka o tom k čemu se používá "metoda nejmenších čtverců", maximálně ukázka lineární či kvadratické regrese a jakási diskuse o tom že existuje také regrese multidimenzionální a diferenciální.

Je třeba si uvědomit že ani pojmy "MNS" a "regrese" nejsou synonima. -- Tento nepodepsaný komentář přidal(a) uživatel(ka) Kocourek-007a (diskuse)

Původní text je samozřejmě zachován v historii článku. ale nemyslím si, že by současný text úvodu byl horší. Ten původní úvod popisoval spíše jen lineární regresi metodou nejmenších čtverců, nikoliv tuto metodu obecně. --Postrach 09:35, 25. 2. 2008 (UTC)

S tím nesouhlasím, princip metody je _"minimalizovat součet čtverců reziduálních odchylek". Ať už analytickou cestou či numerickou. Lineární regrese byla použita jako příklad (na kterém to lze snadno vysvětlit/pochopit). -- Tento nepodepsaný komentář přidal(a) uživatel(ka) Kocourek-007a (diskuse)

Co s tim? Koukam na Vasi verzi clanku, rekneme z konce cervna 2006, nez se v tom zacali vrtat ostatni vcetne me. V uvodni vete rikate pouze to, ze metoda nejmensich ctvercu je metoda. :) V dalsi vete zminite linearni regresi. V dalsim odstavci nadepsanem "Jak přesně funguje metoda nejmenších čtverců?" se venujete predevsim linearni regresi, pouze ke konci odstavce zminite soucet druhych mocnin. Ve zbytku clanku uz se opet venujete pouze linearni regresi. Co tedy v uvodu clanku chcete mit, aby to bylo o metode nejmensich ctvercu? --Jx 15:08, 25. 2. 2008 (UTC)

Zkuste si ještě jednou přečíst moje předchozí dva příspěvky do diskuse, a tentokrát se nad nimi zamyslet. Vy tu totiž nepíšete "o metodě nejmenších čtverců". A pokud chcete vyčerpat naprosto všechny možnosti její aplikace na různé systémy (předem říkám, že to za život nestihnete), tak Váš článek postupně nabyde na pár tisíc stran, samotný význam pojmu MNČ se zcela ztratí a tím i smysl článku. Nicméně když už tu ukazujete aplikace, tak myslím, že by stáli za umíňku aplikace které mají co nej širší praktické uplatnění, nikoliv aplikace které jsou využívány jen velmi úzkou částí celého "spekta vědy". Nemáte tam ale ani slovo o tom, že ve veliké většině případů nemůžeme řešit MNČ analyticky, takže 99% všech regresních postupů využívá numerické techniky a jaké techniky...kdyby právě toto čtenář hledal. Ale samotné minimalizační techniky už není třeba rozebírat, protože to je téma na další článek. (Možná na tomhle příkladu je vidět, co jsem mínil předchozími příspěvky)