יום שישי , יוני 23 2017
מבזקים
דף הבית > תוכנות > BIG DATA & BI Analytics > מאמרי דעה: "המון בריבוע"- ניצול חוכמת ההמון בתהליך ניתוח Big Data  שנוצר על ידי המון אחר

מאמרי דעה: "המון בריבוע"- ניצול חוכמת ההמון בתהליך ניתוח Big Data  שנוצר על ידי המון אחר

מאת: ד"ר תומר גבע וד"ר שחר רייכמן, הפקולטה לניהול ע"ש קולר באוניברסיטת ת"א*

ד"ר שחר רייכמן

ד"ר שחר רייכמן

בשנים האחרונות, עם התפתחות היכולת לאסוף ולשמור כמויות נתונים גדולות מאוד, ארגונים מתמודדים עם השאלה מה החלק הרלוונטי בתוך ה-Big Data שכדאי לנתח ליצירת תובנות לתמיכה בהחלטות הניהוליות. מחקר זה, שערכנו בפקולטה לניהול ע"ש קולר באוניברסיטת תל אביב יחד עם עמיתנו פרופ'  אריק בריינג'ולפסון  מביה"ס למנהל עסקים Sloan באוניברסיטת MIT , מתמקד בניתוח מידע שנוצר על ידי המונים –חיפושים שמיליוני אנשים מבצעים במנועי חיפוש באינטרנט — לצורך חיזוי תופעות כלכליות וחברתיות. כלים פופולריים כמו Google Trends מאפשרים גישה למידע על מגמות חיפושים שהציבור הרחב מבצע מדי יום, למשל צורת כמות החיפושים היחסית של מילות מפתח שונות לאורך זמן. עבודות שונות הראו בעבר שניתן להשתמש במגמות חיפוש אלו לחזות תופעות כלכליות וחברתיות, כמו רמות אבטלה או התפרצות של מגפות שפעת, אך ברמות שונות של הצלחה ודיוק.

באופן היפותטי, ניתן לבחור מיליארדי מגמות חיפוש המבוססים על קומבינציות אפשריות של מילות מפתח, אך ככל הנראה, הרוב המכריע של מגמות חיפוש אלו לא יהיו רלוונטי ולא יעזור לחזות את התופעה הרלוונטית. לדוגמא, חיפושים על דגמים של מכוניות, ככל הנראה לא יעזרו לחזות התפרצות של שפעת. לפיכך, אחת הבעיות העיקריות בשימוש במגמות חיפוש לאורך זמן הינה, בחירת מילות מפתח, או קומבינציות רלוונטיות של מילות מפתח המייצגות מגמות חיפוש המאפשרות לחזות תופעות שונות.
מחקר זה מציג גישה חדשה לבחירת קומבינציות חיפוש אלו לצורך ביצוע חיזוי. שיטה זו פונה להמון, לא רק לייצור המידע, אלא לבחירת החלקים הרלוונטים מתוך הררי המידע האפשריים לניתוח. השימוש בהמון לצורך בחירה מתבצע תוך כדי משחק אסוציאטיבי פשוט: כ-1000 משתתפים הופנו מאתר מיקור המונים (crowd sourcing) Amazon Mechanical Turk אל אתר האינטרנט של המחקר. כל משתתף התבקש לבחור חמישה מושגים

ד"ר תומר גבע

ד"ר תומר גבע

שעלו באופן אסוציאטיבי למוחו כאשר הוזכרה תופעה מסוימת (דומה למשחק "שמש-אסוציאציות"). המחקר השתמש במילות המפתח שנבחרו, ובשיטה סטטיסטית פשוטה, באופן מכוון, כדי לבצע סינון של מילות המפתח הרלוונטיות אשר ישמשו לבחור מגמות חיפוש המשמשות לחיזוי.

המחקר בחן את היכולות של השיטה לחזות תופעות כגון התפרצות מגפות שפעת או תופעות כלכליות כגון תביעות לדמי אבטלה, והשווה את ביצועי השיטה לגישות קיימות כמו שימוש במומחים או שיטות הדורשות משאבי מחשוב משמעותיים בשביל לסרוק ולבחון קורלציות של כמויות גדולות של מילות מפתח. המחקר מצא כי השיטה המוצעת נתנה תחזיות טובות באותה המידה או אף במידה רבה יותר מהשיטות האלטרנטביות, וזאת בעלות נמוכה בהרבה. בנוסף, השיטה מאפשרת שימור הרלוונטיות של המודל לאורך זמן בעלות נמוכה ביחס למודלים אחרים.המחקר מראה כיצד שימוש מושכל במיקור המונים יכול לפתור בעיות מורכבות ובאופן ספציפי יכול לעזור לבחור מידע רלוונטי מתוך הררי המידע הזמינים כיום.

  • ד"ר תומר גבע ,חוקר ומרצה בתחום ניהול טכנולוגיה ומערכות מידע וראש התמחות Business Data Analytics  בפקולטה לניהול ע"ש קולר באוניברסיטת תל אביב,
  • ד"ר שחר רייכמן, חוקר ומרצה בתחום ניהול טכנולוגיה ומערכות מידע, בפקולטה לניהול ע"ש קולר באוניברסיטת תל אביב (https://coller.tau.ac.il)
  • המחקר המלא התפרסם בMIS Quarterly, דצמבר 2016 http://misq.org/crowd-squared-amplifying-the-predictive-power-of-search-trend-data.html?SID=sh5ihr56usc95n90fecdhnj5s4

אודות מערכת ITNEWS מאיר עשת

מנהל/עורך אתר ITNEWS. בוגר כלכלה ומנה"ס באונ' בן גוריון ו- MBA בירושליים. בעבר: כהן כיועץ כלכלי מטעם המדינה בהולנד ובהודו. היה סמנכ"ל שיווק בברדר, משנה למנכ"ל בסטארטאפ TVNGO, מנהל IT מגזין של גלובס בשנתיים האחרונות.