תהליך גאוסי
פעולות נוספות
בתורת ההסתברות וסטטיסטיקה, תהליך גאוסי הוא תהליך סטוכסטי (רנדומלי) - אוסף של משתנים מקריים בעלי אינדקס <math>t</math> ,לציון זמן או מרחב, כך שכל אוסף סופי מתוכם מתפלג לפי התפלגות רב-נורמלית. התפלגותו של תהליך גאוסי מתארת את ההתפלגות המשותפת של כל המשתנים הללו (אינסוף משתנים מקריים), ולכן מדובר בהתפלגות על פונקציות המוגדרות על תחום רציף, כגון זמן או מרחב.
המושג נקרא על שם קרל פרידריך גאוס מאחר שהוא מבוסס על התפלגות גאוסית אך אופיין ע״י נורברט וינר ו-אנדריי קולמוגורוב בשנות ה-40.
הגדרה עריכה
תהליך סטוכסטי רציף <math>\left\{X_t ; t\in T\right\}</math> הוא תהליך גאוסי אם ורק אם לכל קבוצה סופית של אינדקסים <math>t_1,\ldots,t_k\in T</math>
<math display="block"> \mathbf{X}_{t_1, \ldots, t_k} = (X_{t_1}, \ldots, X_{t_k}) </math>
הוא משתנה מקרי מתפלג רב-נורמלית[1]. כלומר, אם לכל צירוף ליניארי ,<math>a_1,\dots,a_k \in \mathbb{R}</math>, <math>\langle \bar{a}, \bar{X} \rangle=a_1 X_{t_1} + \dots +a_k X_{t_k}</math> המשתנה המקרי (החד־ממדי) מתפלג נורמלי.
קיימת עוד הגדרה לתהליך גאוסי, אם לכל קבוצת סופית של אינדקסים <math>t_1,\ldots,t_k\in T</math>, קיימים <math>\sigma_{\ell j} , \mu_\ell \in \mathbb{R}</math> עם <math>\sigma_{jj} > 0</math> כך שכל <math>a_1,\dots,a_k \in \mathbb{R}</math>, מתקיים כי עבור הפונקציה האופיינית של<math> \mathbf{X}_{t_1,\ldots,t_k}</math><math>\varphi_{\mathbf{X}_{t_1,\ldots,t_k}}(t)=\operatorname{E}[\,e^{it\mathbf{X}_{t_1,\ldots,t_k}}\,] = { \mathbb E }\left[\exp\left(i \sum_{\ell=1}^k s_\ell \, \mathbf{X}_{t_\ell}\right)\right] = \exp \left(-\tfrac{1}{2} \sum_{\ell, j} \sigma_{\ell j} a_\ell a_j + i \sum_\ell \mu_\ell a_\ell\right), </math>
שונות עריכה
לכל <math> t \in T </math>, השונות של תהליך גאוסי היא קיימת וסופית. באופן פורמלי מתקיים [3]: <math>Var[\mathbf{X_t}]= \mathbb{E}[|\mathbf{X_t}-\mathbb{E}[\mathbf{X_t}] |^2]< \infty </math> לכל <math> t \in T </math>
סטציונריות עריכה
תהליך גאוסי הוא סטציונרי במובן הצר אם ורק אם הוא סטציונרי במובן הרחב.
עבור תהליך סטוכסטי כללי, המשפט הקודם אינו בהכרח נכון, תהליך יכול להיות סטציונרי במובן הרחב אך לא מובן הצר.
דוגמה עריכה
לכל תהליך גאוסי סטציונרי, קיים ייצוג מפורש,[4] לדוגמה: <math display="block"> X_t = \cos(at)\, \xi_1 + \sin(at)\, \xi_2</math> אשר <math> \xi_1 , \xi_2 </math> הם משתנים מקריים בלתי תלויים בעלי התפלגות נורמלית סטנדרטית.
פונקציית השונות המשותפת עריכה
פונקציית השונות המשותפת מהווה מרכיב מרכזי בתיאור תהליכים גאוסיים.
ההתפלגות המשותפת, מעל קבוצה סופית של אינדקסים של תהליך גאוסי, נקבעת ביחידות ע״י התוחלת והשונות המשותפת שלה. אם מניחים כי התוחלת היא אפס, אז ההתפלגות המשותפת מוגדת ע״י השונות המשותפת בלבד. לכן פונקציית השונות המשותפת מאפשרת לנתח תכונות חשובות של התהליך גאוסי כמו סטציונריות, איזוטרופיות, חלקות ו-מחזוריות.
סטציונריות עריכה
תהליך גאוסי הוא סטציונרי אם ורק אם לכל <math>t', t</math> פונקציית השונות המשותפת תלויה רק ב <math>t'- t</math>.
איזוטרופיות עריכה
תהליך גאוסי הוא איזוטורפי אם קיימת פונקציה <math>K</math> כך ש <math>Cov(X_i,X_j)=K(d(X_i,X_j))</math> עבור K פונקציה שממפה מרחק לשונות המשותפת ו-<math>d</math> פונקציית מרחק. תהליך גאוסי סטציונרי ואיזוטרופי נקרא גם הומוגני, כלומר התנהגות של התהליך אינה תלויה בלוקליזציה ובכיוון של הצופה.[5]
חלקות עריכה
עבור תהליך גאוסי סטציונרי, הנגזרת מסדר <math>n</math> רק אם הנגזרת מסדר <math>2n</math> של פונקציית השונות קיימת ו-מתכנסת ל-0 בממוצע ריבוע.[6]
מחזוריות עריכה
אם פונקציית השונות המשותפת היא מחזורית אז פונקציית הדגימה אשר מתוארת ע״י התהליך הגאוסי גם מחזורית כמעט תמיד.[7]
דוגמאות לפונקציות השונות המשותפת נפוצות עריכה
- קבועה: <math> K_\operatorname{C}(x,x') = C </math>
- ליניארית: <math> K_\operatorname{L}(x,x') = x^\mathsf{T} x'</math>
- רעש לבן גאוסי: <math> K_\operatorname{GN}(x,x') = \sigma^2 \delta_{x,x'}</math>
- אקספוננציאל ריבועי: <math> K_\operatorname{SE}(x,x') = \exp \left(-\tfrac{d^2}{2\ell^2} \right)</math>
- Ornstein–Uhlenbeck: <math>K_{\text{OU}}(x, x') = \exp\left(-\frac{d}{\ell}\right)</math>
- Matérn: <math> K_\operatorname{Matern}(x,x') = \tfrac{2^{1-\nu}}{\Gamma(\nu)} \left(\tfrac{\sqrt{2\nu}d}{\ell} \right)^\nu K_\nu \left(\tfrac{\sqrt{2\nu}d}{\ell} \right)</math>
- מחזורית: <math> K_\operatorname{P}(x,x') = \exp\left(-\tfrac{2}{\ell^2} \sin^2 (d/2) \right)</math>
- ריבועי רציונלי: <math> K_\operatorname{RQ}(x,x') = \left(1+d^2\right)^{-\alpha}, \quad \alpha \geq 0</math>
עבור <math>d = |x- x'| </math>, <math>\ell</math> הוא האורך האופייני של התהליך(באופן אינטואיטיבי <math>\ell</math> מודד כמה קרוב צריכות להיות שתי נקודות שונות כדי להשפיע אחת על השנייה), <math>\delta</math> הוא הדלתא של קרונקר ו- <math>\sigma</math> סטיית התקן של הרעש. בנוסף, <math>K_\nu</math> היא פונקציות בסל המותאמות מסדר <math>\nu</math> ו <math>\Gamma(\nu)</math> היא פונקציית גמא בנקודת <math>\nu</math>.
ניתן לתאר פונקציה שונות משותפת יותר מורכבות על ידי צירוף ליניארי של פונקציות שונות משותפות במטרה להוסיף גם יותר תובנות על הנתונים.
רציפות עריכה
תהליך גאוסי רציף ממוצע ריבוע בזמן <math>t</math> אם ורק אם הוא רציף בהסתברות. בנוסף מספיק לבדוק אם פונקציית התוחלת ו-פונקציית השונות המשותפת רציפות ב<math>t</math> כדי לקבוע אם התהליך רציף בהסתברות.[8]
תהליך גאוסי רציף לדגימה אם לכל <math>t\in T</math>, מתקיים כי:
- <math>\mathbf{P} \left( \left\{ \omega \in \Omega \left| \lim_{s \to t} \big| X_{s} (\omega) - X_{t} (\omega) \big| = 0 \right. \right\} \right) = 1.</math>
באופק שקול, תהליך גאוסי <math>\left\{X_t ; t\in T\right\}</math> הוא רציף לדגימה אם קיים <math>\left\{Y_t ; t\in T\right\}</math> כך שלכל <math>t\in T , P([X_t = Y_t]) = 1 </math> (במקרה הזה נאמר ש<math>Y</math> הור הגרסה של <math>X</math>) ואם לכל <math>t\in T</math>, מתקיים כי <math>Y_t</math> פונקציה רציפה.
עבור תהליך סטוכסטי כללי, ניתן להשתמש במשפט הרציפות של קולמוגורוב, ביחד עם משפט ההרחבה של קולמוגורוב למציאת גרסה לתהליך סטוכסט. אך שימוש במשפטים הנ״ל אינו טריוולי, למקרה הגאוסי קיימים משפטים נוספים.
משפט פרניק למקרה הסטציונרי (1974) [9] עריכה
תהליך גאוסי סטציונרי הוא רציף לדגימות אם ורק אם מתקיים (1): <math> \int_0^1 \sqrt{\log N(x)} \, dx < \infty \ </math>
כאשר <math>N(\varepsilon)</math> הוא מספר הכיסויים של הקטע <math>[0,1]</math>,הגודל מינימלי של אפסילון רשת, תחת הפסאודו-מטריקה <math> d(s, t) = \sqrt{\mathbb{E}[(X_s - X_t)^2]}. </math> באופן פורמלי, <math> N(\varepsilon) = \inf \left\{ n \in \mathbb{N} : \exists A_1, \dots, A_n , T \subseteq \bigcup_{j=1}^n A_j \ s.t \ \sup_{s, t \in A_j} d(s, t) \leq 2\varepsilon \right\} </math> <math> \sqrt{\log N(x)} </math> נקראת המטריקה האנטרופית של <math>(T,d)</math>. נשים לב כי אם <math>X</math> רציף לדגימה אזי התנאי (1) גם חייב להתקיים לכל התליך גאוסי.
משפט דדלי-פרניק לתהליך גאוסי כללי[10] עריכה
יהי <math>X</math> תהליך גאוסי ו-<math>T</math> קבוצה חסומה ב־<math>\mathbb{R}^k</math>. נניח שקיימת פונקציה ממשית אי-שלילית <math>q(u)</math> כך ש:
- <math>\mathbb{E}[|X_s - X_t|^2] \leq q(\|s -t\|)^2</math> לכל <math>s,t \in T</math>
- <math>q(u)</math> מונוטונית עולה עבור <math>0 < u < \delta</math> כלשהי.
- <math>\int_0^M q(e^{-x^2})\, d\varepsilon < \infty</math> עבור <math>M < \infty</math>
אזי <math>X</math> רציף לדגימה.
קשר בין תהליך גאוסי לפונקציות קרנל (גרעין) עריכה
יהי <math>X \ne \emptyset </math>, <math>k : X \times X \to \mathbb{R}</math> פונקציית גרעין חיובית לחלוטין, ו־<math>m : X \to \mathbb{R}</math> פונקציה ממשית כלשהי. נאמר כי פונקציה אקראית <math>f : X \to \mathbb{R}</math> היא תהליך גאוסי עם פונקציית תוחלת <math>m</math> וגרעין <math>k</math>:
אם ורק אם לכל קבוצה סופית <math>(x_1, \dots, x_n) \subset X</math> בגודל <math>n \in \mathbb{N}</math>, וקטור הערכים האקראיים <math>f_X = (f(x_1), \dots, f(x_n))^\top \in \mathbb{R}^n</math> מתפלג נורמלית רב-ממדית עם תוחלת <math>m_X = (m(x_1), \dots, m(x_n))^\top</math>
ומטריצת השונות המשותפת:<math>k_{XX} = (k(x_i, x_j))_{i,j=1}^n \in \mathbb{R}^{n \times n}</math> כלומר <math>f_X \sim \mathcal{N}(m_X, k_{XX})</math>
משפט 1[11]: לכל פונקציית גרעין חיובית לחלוטין <math>k</math> ופונקציית תחולת <math>m</math>, קיימים פונקציה <math>f</math> ותהליך גאוסי כך ש <math>f \sim \mathrm{GP}(m, k)</math>.
השימוש בפונקציית קרנל ופונקציית תוחלת ספציפיות כדי לבנות תהליך גאוסי הוא כלי שימושי מאחר שהתכונות של תהליך גאוסי נובעות מפונקציית קרנל ופונקציית תוחלת.
נניח שיש ברשותנו פונקציה דו־ממדית <math>f(\mathbf{x}) : \mathbb{R}^2 \rightarrow \mathbb{R}^2</math>, שעליה אנו מוסיפים קדימות של תהליך גאוסי: <math>f(\mathbf{x}) \sim \mathrm{GP}(\mu(\mathbf{x}), K(\mathbf{x}, \mathbf{x'}))</math>.
בנוסף, יש לנו ידע קדם על הפונקציה <math>f(\mathbf{x})</math> צריכה לקיים את משוואת הדיפרנציאל הבאה: <math>\frac{\partial f_1}{\partial x_1} + \frac{\partial f_2}{\partial x_2} = 0</math>.
ניתן לשנות את <math>K(\mathbf{x}, \mathbf{x'})</math> ואת <math>\mu(\mathbf{x})</math> כך שכל דגימה מהתהליך גאוסי החדש תקיים בהכרח את האילוצים. [12]
משפט 2[13]: לכל פונקציית גרעין חיובית לחלוטין <math>k</math> קיים ביחידות RKHS <math> \mathcal{H_k}</math> מרחב הילברט עם גרעין משחזר שעבורו <math>k</math> הוא הקרנל המחזר .
נשים לב כי עבור פונקציית קרנל <math>k</math> ו- <math>f(\mathbf{x}) \sim \mathrm{GP}(\mu(\mathbf{x}), K(\mathbf{x}, \mathbf{x'}))</math> המתאים, מתקיים כי כמעט תמיד כי מסילות הדגימות של התהליך לא שייכות ל<math> \mathcal{H_k}</math>, אכן <math> \mathcal{H_k}</math> איזומטרי למרחב למרחב קמרון-מרטין של התהליך(מרחב הפונקציות שהתהליך מייצר). [14]
שימושיים עריכה
רגרסיה באמצעות תהליך גאוסי[15] עריכה
ידוע גם בשם קרינגינג, או וינר ו-קולמוגורוב, היא טכניקה מבוססת על רגרסיה בייסיאנית א-פארמטרית, אשר גרסייה באמצעות תהליך גאוסי מביא התפלגות אפוסטריורית על הפונקציה <math>f</math> מנסים לחזות. יהי <math>X \ne \emptyset </math>, <math>f : X \to \mathbb{R}</math>. בהינתן <math>\{(x_i, y_i)\}_{i=1}^{n} \subset X \times \mathbb{R}</math>, נתונים עליהם נתאמן כך ש:
<math>y_i = f(x_i) + \xi_i, \quad i = 1, \ldots, n \quad \text{such that} \quad \xi_i \sim \mathcal{N}(0, \sigma^2)</math>
ההתפלגות אפריורי <math>\Pi_0</math> מוגדר כתהליך גאוסי <math>GP(m, k)</math> עם פונקציית התוחלת <math>m: X \to \mathbb{R}</math> וגרעין <math>k: X \times X \to \mathbb{R}</math>, כלומר, <math>f \sim \text{GP}(m, k)</math>.
ניתן להראות ע״י חוק בייס כי ההתפלות אפוסטריורית <math>\Pi_n(f \mid X, Y)</math> גם תהליך גאוסי <math>\text{GP}(\bar{m}, \bar{k})</math> כך ש:
<math> \bar{k}(x, x') = k(x, x') - k_{xX}(k_{XX} + \sigma^2 I_n)^{-1} k_{Xx'}, \quad x, x' \in X </math>
עבור <math> k_{Xx} = \left( k(x_1, x), \ldots, k(x_n, x) \right)^\top </math>
ה-<math>\bar{m}</math> ו-<math>\bar{k}</math> תלויות בבחירה של פונקציית התוחלת הקודמת <math>m</math>, הגרעין <math>k</math> ושונות הרעש <math>\sigma^2</math>. אלו הם ההיפר-פרמטרים של רגרסיה באמצעות תהליך גאוסי.
רשתות נוירונים בייסיאנית באמצעות תהליך גאוסי עריכה
רשתות נוירונים בייסיאניות הן מקרה פרטי של רשתות בייסיאניות, בהן נעשה שימוש בלמידה עמוקה תוך ייצוג הסתברותי של הפרמטרים. במילים אחרות, כל פרמטר ברשת מקבל התפלגות פריור, ולא ערך נקודתי, ומתבצעת הסקה על התפלגות פוסטריור של הפרמטרים לאור הנתונים הנצפים באימון החישוב ברשתות אלו מתבצע לרוב באמצעות שכבות עוקבות של פרמטרים המייצגים נוירונים מלאכותיים. מקובל להתייחס למספר הנוירונים בכל שכבה כאל רוחב השכבה. כאשר מרחיבים את רוחב השכבות (כלומר, מגדילים את מספר הנוירונים בכל שכבה), ניתן להראות כי במקרים רבים רשת נוירונים בייסיאנית מתכנסת לתהליך גאוסי עם גרעין אנליטי. תהליך זה נקרא התהליך הגאוסי של רשת נוירונים (Neural Network Gaussian Process – NNGP).
ראו גם עריכה
הערות שוליים עריכה
- ^ שגיאת לואה ביחידה יחידה:Citation/CS1/Configuration בשורה 1739<includeonly></includeonly>: attempt to index field '?' (a nil value).
- ^ שגיאת לואה ביחידה יחידה:Citation/CS1/Configuration בשורה 1739<includeonly></includeonly>: attempt to index field '?' (a nil value).
- ^ Amos Lapidoth (8 February 2017). A Foundation in Digital Communication. Cambridge University Press. ISBN 978-1-107-17732-1. p. 566.
- ^ שגיאת לואה ביחידה יחידה:Citation/CS1/Configuration בשורה 1739<includeonly></includeonly>: attempt to index field '?' (a nil value).
- ^ שגיאת לואה ביחידה יחידה:Citation/CS1/Configuration בשורה 1739<includeonly></includeonly>: attempt to index field '?' (a nil value).
- ^ C. E. Rasmussen and C. K. I. Williams, Gaussian Processes for Machine Learning, MIT Press, 2006. ISBN 026218253X.
- ^ François Bachoc, Lionel Lenôtre, Adrien Saumard. Random processes and their applications. INRIA, 2018. קישור לקובץ PDF
- ^ שגיאת לואה ביחידה יחידה:Citation/CS1/Configuration בשורה 1739<includeonly></includeonly>: attempt to index field '?' (a nil value).
- ^ שגיאת לואה ביחידה יחידה:Citation/CS1/Configuration בשורה 1739<includeonly></includeonly>: attempt to index field '?' (a nil value).
- ^ Dudley, R.M. (1967). *The Sizes of Compact Subsets of Hilbert Space and Continuity of Gaussian Processes*. Journal of Functional Analysis.
- ^ N. Aronszajn. Theory of reproducing kernels. Transactions of the American Mathematical Society, 68(3), pages 337–404, 1950.
- ^ Carl Jidling, Niklas Wahlström, Adrian Wills, and Thomas B. Schön. Linearly Constrained Gaussian Processes. Advances in Neural Information Processing Systems (NIPS), Long Beach, CA, USA, December 2017.
- ^ Dudley, R. M. (2002). Real Analysis and Probability (2nd ed.). Cambridge University Press. Theorem 12.1.3, p. 409. ISBN 978-0-521-00754-2.
- ^ שגיאת לואה ביחידה יחידה:Citation/CS1/Configuration בשורה 1739<includeonly></includeonly>: attempt to index field '?' (a nil value).
- ^ שגיאת לואה ביחידה יחידה:Citation/CS1/Configuration בשורה 1739<includeonly></includeonly>: attempt to index field '?' (a nil value).