~2026-25761-96 ב־22:21, 27 באפריל 2026

2026-04-27T22:21:29Z

דף חדש

'''Bag-of-words''' או '''BoW''' (בתרגום חופשי: "מודל שק מילים") הוא מודל ייצוג של טקסט המשתמש באוסף לא סדור ([[מולטי קבוצה]]) של מילים. המודל נמצא בשימוש נרחב ב[[עיבוד שפה טבעית]] וב[[אחזור מידע]]. הוא מתעלם מ[[סדר מילים]] (ועל כן מרוב המבנה התחבירי או הדקדוקי) אך משמר את ה[[ריבוי (מתמטיקה)|ריבוי]] של כל מילה.

מודל בג-אוף-וורדס משמש בדרך כלל בשיטות של [[סיווג מסמכים]], שבהן, למשל, (תדירות) ההופעה של כל מילה משמשת כ[[תכונה (למידת מכונה)|תכונה]] לאימון [[סיווג (סטטיסטיקה)|מסווג]].<ref>McTear et al 2016, p. 167.</ref> המודל נמצא בשימוש גם בתחום ה[[Bag of words (ראייה ממוחשבת)|ראייה ממוחשבת]].<ref name="sivic">{{cite conference|last=Sivic|first=Josef|date=April 2009|title=Efficient visual search of videos cast as text retrieval|url=https://www.di.ens.fr/~josef/publications/sivic09a.pdf|publisher=opposition|pages=591–605|book-title=IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 31, NO. 4}}</ref>

אזכור מוקדם למונח "שק מילים" בהקשר בלשני ניתן למצוא במאמרו של [[זליג האריס]] משנת 1954 על מבנה הפצתי (Distributional Structure).<ref>{{cite journal|last=Harris|first=Zellig|author-link=Zellig Harris|year=1954|title=Distributional Structure|journal=Word|volume=10|issue=2/3|pages=146–62|doi=10.1080/00437956.1954.11659520|quote=And this stock of combinations of elements becomes a factor in the way later choices are made ... for language is not merely a bag of words but a tool with particular properties which have been fashioned in the course of its use}}</ref>

== הגדרה ==
הדוגמה הבאה ממדלת מסמך טקסט באמצעות בג-אוף-וורדס. להלן שני מסמכי טקסט פשוטים:<syntaxhighlight lang="text">
(1) John likes to watch movies. Mary likes movies too.
</syntaxhighlight><syntaxhighlight lang="text">
(2) Mary also likes to watch football games.
</syntaxhighlight>על בסיס שני המסמכים הללו, נבנית רשימה עבור כל מסמך:<syntaxhighlight lang="text">
"John","likes","to","watch","movies","Mary","likes","movies","too"

"Mary","also","likes","to","watch","football","games"
</syntaxhighlight>ייצוג כל שק מילים כאובייקט [[JSON]] והצמדה למשתנה [[JavaScript]] תיראה כך:<syntaxhighlight lang="javascript">
BoW1 = {"John":1,"likes":2,"to":1,"watch":1,"movies":2,"Mary":1,"too":1};
BoW2 = {"Mary":1,"also":1,"likes":1,"to":1,"watch":1,"football":1,"games":1};
</syntaxhighlight>כל מפתח (key) הוא המילה, וכל ערך הוא מספר המופעים של אותה מילה במסמך הטקסט הנתון. סדר האלמנטים אינו קבוע, ולכן, לדוגמה, האובייקט <code>{"too":1,"Mary":1,"movies":2,"John":1,"watch":1,"likes":2,"to":1}</code> שקול לחלוטין ל-BoW1.

הערה: אם מסמך נוסף מהווה איחוד של שני המסמכים הקודמים:<syntaxhighlight lang="text">
(3) John likes to watch movies. Mary likes movies too. Mary also likes to watch football games.
</syntaxhighlight>הייצוג שלו ב-JavaScript יהיה:<syntaxhighlight lang="javascript">
BoW3 = {"John":1,"likes":3,"to":2,"watch":2,"movies":2,"Mary":2,"too":1,"also":1,"football":1,"games":1};
</syntaxhighlight>

:
: כפי שניתן לראות באלגברה של מולטי־סטים (שקים), ה"איחוד" של שני מסכים בייצוג באג־אוף־וורדס הוא, פורמלית, [[איחוד (מתמטיקה)|איחוד זר]], והסכום הרב־קבוצתי שלו הוא:
:: <math>\mathrm{BoW}_3 = \mathrm{BoW}_1 \uplus \mathrm{BoW}_2</math>

=== סדר מילים ===
ייצוג BoW של טקסט מסיר כל סדר בין המילים. לדוגמה, הייצוג של "man bites dog" (אדם נושך כלב) ושל "dog bites man" (כלב נושך אדם) יהיה זהה. למרות היעדר זה של תחביר או דקדוק, ייצוג BoW הוא מהיר ועשוי להספיק למשימות פשוטות שאינן דורשות את סדר המילים. לדוגמה, ב[[סיווג מסמכים]], אם המילים "מניות", "מסחר" ו"משקיעים" מופיעות פעמים רבות, סביר להניח שהטקסט הוא דוח פיננסי. עם זאת, הייצוג לא יאפשר להבחין במשמעויות מפורטות התלויות בסדר המילים בלבד.

== מימושים ==
מימושים של מודל בג-אוף-וורדס עשויים לכלול שימוש בתדירויות של מילים במסמך כדי לייצג את תוכנו. ניתן "לנרמל" את התדירויות באמצעות הופכי לתדירות במסמכים, או [[Tf–idf]]. בנוסף, עבור המטרה הספציפית של סיווג, פותחו חלופות של [[למידה מונחית]] הלוקחות בחשבון את תווית המחלקה של המסמך.<ref>{{cite conference|title=A study of term weighting schemes using class information for text classification|author=Youngjoong Ko|year=2012|book-title=[[Special Interest Group on Information Retrieval|SIGIR'12]]|publisher=[[Association for Computing Machinery|ACM]]}}</ref> לבסוף, במשקולות בינאריות (נוכחות או היעדר) נעשה שימוש במקום בתדירויות עבור בעיות מסוימות (למשל במערכת [[Weka (למידת מכונה)|WEKA]]).

== שיטת ה-Hashing ==
חלופה נפוצה לשימוש במילונים היא "טריק הגיבוב" (Hashing trick), שבו מילים ממופות ישירות לאינדקסים באמצעות [[פונקציית גיבוב]].<ref name="Weinberger05">{{cite book|last=Weinberger|first=K. Q.|title=Proceedings of the 26th Annual International Conference on Machine Learning|author2=Dasgupta A.|author3=Langford J.|author4=Smola A.|author5=Attenberg, J.|year=2009|isbn=9781605585161|pages=1113–1120|chapter=Feature hashing for large scale multitask learning|bibcode=2009arXiv0902.2206W|doi=10.1145/1553374.1553516|arxiv=0902.2206|s2cid=291713}}</ref> בעת שימוש בפונקציית גיבוב, אין צורך בזיכרון לאחסון מילון. בפועל, הגיבוב מפשט את המימוש ומשפר את יכולת ההרחבה.<ref>{{Cite journal|last1=Freksen|first1=Casper|last2=Kamma|first2=Lior|last3=Larsen|first3=Kasper Green|date=2018-12-03|title=Fully understanding the hashing trick|url=https://arxiv.org/abs/1805.08539|journal=Proceedings of the 32nd International Conference on Neural Information Processing Systems|series=NIPS'18|location=Red Hook, NY, USA|publisher=Curran Associates Inc.|pages=5394–5404}}</ref> התנגשויות עשויות להתרחש כאשר שתי מילים מגובבות לאותו אינדקס, אך הדבר קורה בתדירות נמוכה ועשוי לתפקד כצורה של [[רגולריזציה (מתמטיקה)|רגולריזציה]].<ref>{{Cite web|date=6 July 2015|title=Compressing neural networks with the hashing trick|url=https://arxiv.org/abs/1504.04788|access-date=2026-04-19|publisher=ICML'15: Proceedings of the 32nd International Conference on Machine Learning - Volume 37|pages=2285–2294|language=en}}</ref>

== ראו גם ==
* [[עיבוד שפה טבעית]]
* [[Word2vec]]

== הערות שוליים ==
{{הערות שוליים}}
{{בינה מלאכותית}}

[[קטגוריה:למידת מכונה]]
[[קטגוריה:עיבוד שפה טבעית]]

מודל Bag-of-words - היסטוריית גרסאות

~2026-25761-96 ב־22:21, 27 באפריל 2026