“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229,

1. “Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229, • Introduksjon til PCA fra statistiker-perspektiv • Populasjons- og sample-basert • Diagonalisering av kovariansmatrise • Maksimering av varians, proporsjoner • Sentrering (projeksjon) • Komponentreduksjon • Grafisk representasjon • PCA-modell • Variabel-transformasjon til ukorrelerte variable • Scores + Loading plots • Tolkning • Vise sentrering = projeksjon som fjerner 1-er kolonnen.

2. “Correspondence Analysis”,Mardia, Kent & Bibby, pp. 237-239 • Introduksjon til korrespondanse-analyse • Tolkning av ”contigency”-tabeller • Mange likeheter med PCA • Egenvektorer av bestemte matriser • Mye brukt innen samfunnsforskning, men også innen nettverk • Forklare modell – egenvektorer ”av hva”? • Forklare metode, problemer med egenverdier. • Vise et eksempel

3. ”The Elements of Statistical Learning”, T. Hastie, R. Tibshirani, J. Friedman, Chapter 3, pp. 41-73 • Lineære regresjonsmetoder • Formulert i statistiker-språk, E(Y|X) • Minste kvadraters metode • Variansestimering, testing • Gauss-Markov Teoremet • Flere inputs, flere outputs • Krymping, ridge regresjon, PLS, PCR • Variabel-seleksjon • OLS-modell + problemer med denne (stor varians) • Tradeoff: Varians vs. Bias • Forklare hvordan og hvorfor ridge virker (krymping av egenverdier) på SVD-form

4. ”The Elements of Statistical Learning”, T. Hastie, R. Tibshirani, J. Friedman Chapter 14.6, pp. 494-502 • Introduksjon til ICA og Projection Pursuit • Latente variabler og faktoranalyse • Cocktail-party problemet • Litt om informasjonsteori • Multidimensjonal skalering (sensorikk, psykometri) • Viktige forskjeller: Cocktail-party vs. ICA • ”Ikke-gaussiskhet = uavhengighet” vha. Sentral-grense-teoremt • Entropi, Neg-entropi

5. ”Survey on Independent Component Analysis”, Technical Report, Aapo Hyvärinen, 1999. (35 sider) • Lineære transformasjoner • PCA – ukorrelerte retninger • Høyere ordens metoder, uavhengighet • Informasjonsteori, negentropi • Blind dekonvulsjon • Betingelser for at ICA lykkes • Koblinger til andre metoder (PP) • Objektiv-funksjoner, ICA-algoritmer • ICA-modellen • FastICA • Metode-oversikt/relasjoner

6. “Correspondence Analysis for Visualizing Interplay of Pitch Class, Key, and Composer”, H. Purwins, T. Graepel, B. Blankertz, K. Obermayer • Vise sammenhengen mellom musiske paratmerte vha. korrespondans-analyse • Biplots (score-plots) • Link til multidimensjonal skalering • Link til en kognitiv modell • Beethoven, Mozart, Haydn, Brahms

7. ”Generalizing the Singular Value Decomposition”, Charles. F. Van. Loan, SIAM. J. Numer. Anal., Vol. 13, No. 1, March 1976, pp. 76-83, • Stasjonære verdier, determinanter • To generaliseringer av SVD • Diagonalisering av to matriser • Bruker flere typer matrise-faktoriseringer • Anvendelser: • Damped Least Squares • Weighted Least Squares • Sette opp modeller for diagonalisering av to matriser • Foreta variabel-transformasjon for å få to LSQ-problemer på diagonal form samtidig • ”Outline of proof” • Vise anvendelser

8. “On the Early History of the Singular Value Decomposition”, G. W. Stewart, SIAM Review 35 (1993), pp.551-566 • Bidrag fra 5 matematikere • Eugenio Beltrami (1835-1899) • Camille Jordan (1838-1921) • James Joseph Sylvester (1814-1897) • Erhard Schmidt (1876-1959) • Hermann Weyll (1885-1955) • Omhandler deres ansvar for å etablere eksistens av SVD og teori rundt denne. • Oversikt over utgangspunkt + mål for de forskjellige forfatterne • Vise svakheter og styrker ved angrepsmåtene

9. “Orthogonal Procrustes Rotation for Two or More Matrices”, J.M.F. Ten Berge, Psykometrika, Vol 42. No, 2, June 1977, pp. 267-276 • Optimal rotasjon for å matche to eller flere punktmengder • Psykologi/psykometri • Trase-maksimering vha. Eckart-Young dekomposisjon (=SVD) • Faglig diskurs med Gower • Må kunne bevis for optimal rotasjon i LSQ-forstand • Anvendelser • Isotrop skalering

10. “The Isotropic Scaling Problem in Generalized Procrustus Analysis”, Ten Berge, J.M.F., and P.A. Bekker 1993, Computational Statistics and Data Analysis 16, pp. 201-204. • Mer krangling med Gower • Viser at Gowers løsning er OK under visse betingelser • ”Closed-form solution” (Gower itererer) • Vektorisering av matriser (”stacking”) • Sette opp problem som ”stacked matrices” • Argumentere for at dette kan løses som et egenverdi-problem

11. “Perturbation Theory for the Singular Value Decomposition”, G.W. Stewart, in SVD and Signal Processing, II, Algorithms, Analysis and Applications, 1991, pp. 99-109 • SVD: Gir beste lav-rangs-approksimasjon til en matrise • SVD kan skifte raskt (sensitiv) • Likevel: Stabil i en ”underroms-forstand” • Singulære underrom • Kanoniske vinkler mellom underrom • Wedins teorem • Hovedresultater • Lav-rangs-approksimasjon • Stabilitet: ikke pr. vektor, men pr. underrom • Vinkelmål mellom underrom (vinkler)

12. Constrained Least Squares” Chapter, 12 in “Matrix Computations” , G.H. Golub and C.F. Van Loan, 3rd Edition, 1996, pp.580-587 • Løsning over en delmengde av alle x • Kvadratisk ulikhet (LSQI) • Gjør bruk av GSVD • Lagrange-multiplikatorer • Underromsløsninger • Vektings-metode • Sette opp diagonalisering + Lagrange-problem • Argumentere for unik løsning i visse tilfeller • Null-rom • Underromsmetoder

13. “Selection of Variables to Preserve Multivariate Data Structure, Using Principal Components”, W.J. Krzanowski, Applied Statistics, Vol. 36, No. 1 (1987), 22-33 • Variabel-seleksjon som bevarer samspill mellom variable • Fjerner variable så lenge biplot er likt. • Bruker PCA + Procrustes-analyse • Kan tenkes utvidet til PLS og ICA? • Vise de tre komponentene, PCA, Procrustes, Backwards selection + hvordan de henger sammen