יום חמישי , ספטמבר 21 2017
מבזקים
דף הבית > תוכנות > BIG DATA & BI Analytics > Big Data: להבין את העסק, לשלוט בטכנולוגיה ולדעת לחבר ביניהם

Big Data: להבין את העסק, לשלוט בטכנולוגיה ולדעת לחבר ביניהם

shutterstock_253888534התפיסה של Big Data, שבמרכזה התובנה כי כל פיסת מידע אותה נצליח לאסוף ולשלב בתהליך אנליטי, המוביל לאיתור הזדמנויות עסקיות ולקבלת החלטות, תוסיף עומק להבנת המציאות ותשפר את איכות ההחלטות בניהול הארגון – נראית לעיתים, כתשובה שמחפשת בעיה.

לכאורה, אחרי שרוב התהליכים העסקיים עברו מיכון במערכות מידע אינטגרטיביות, ומסדי הנתונים הרלציוניים מספקים גישה לכל העובדות הדרושות לקבלת החלטות שוטפות ואף אסטרטגיות – מי צריך לחפש מחט בערמת שחת? הטעות המהותית בתפיסה זו היא בחוסר ההבנה של ההבדל האיכותי ש-Big Data מביאה לתחרות הניהול האינטליגנטי, מבוסס הנתונים. "Big Data אינה אותה אנליטיקה ישנה שנופחה לממדים מפלצתיים", אומרת יפעת יולביץ, ארכיטקטית מערכות במרכז הפיתוח של יבמ ישראל. "מדובר במימד חדש, מהפכני, של שימוש בנתונים הזמינים לכל, ומעשירים באופן משמעותי את התמונה החלקית אותה מחסני הנתונים המסורתיים יודעים לייצר. זה מימד שחסר לחלוטין בסביבת המידע הישנה ולהתעלם ממנו במודע דומה לאיבוד מרצון של אחד מהחושים הביולוגיים. למעשה, Big Data נועדה לספק לארגון מימד חדש על המתרחש מחוצה לו וכן למלא את החסר במערכות המידע הקיימות, אלו שיודעות לטפל אך ורק בנתונים שנאגרו על ידי המערכות המסורתיות – נתונים "מובנים" (Structured, כלומר משובצים בשדות מוגדרים היטב של רשומות מפורמטות בקפדנות), וגם זאת רק בקנה מידה צנוע יחסית. אם אנו רוצים לקבל תובנות אינטליגנטיות באמת, כאלה שבעבר דרשו מוח אנושי וחשיבה "מחוץ לקופסה", התשובה היא Big Data, מתודה שמנתחת מגוון רחב של נתונים מובנים וגם בלתי מובנים כולל סוגי מדיה שונים, תמונות וידאו, טקסטים ועוד."

לייזי נחום קבקוב, ארכיטקט מערכות במרכז הפיתוח של יבמ ישראל

לייזי נחום קבקוב, ארכיטקט מערכות במרכז הפיתוח של יבמ ישראל

פתרון טכנולוגי במקום הברקות גאונות

מערכות מידע קלאסיות נבנו כדי לבצע אלגוריתמים "סגורים", כאלה שבהינתן נתונים שאין לגביהם חוסר בהירות, תמיד יגיעו לתוצאה חד-משמעית. זו כמובן דרישת יסוד למערכות שפועלות בעולם של נתונים מובנים, בעיקר כמותיים, כמו הנהלת חשבונות והנדסה. אבל מערכות אלה לא נותנות מענה לעולם הרחב יותר, של מידע לא מקוטלג בקטגוריות חד משמעיות, אוספי נתונים לא "מרובעים" ממקורות מזדמנים שקשה לקבוע את אמינותם, אשר נשלפו מהקשרים שונים לחלוטין ומשקפים לפעמים אופנות ומגמות רגעיות. "בשורה התחתונה, דווקא מצויינות בתחומים אלה היא שמאפשרת לארגון לבנות יתרון תחרותי ולנצח בשוק", אומר מיקי סלע, מנהל מכירות פלטפורמות אנליטיות ביבמ ישראל. "מערכות המידע הקלאסיות, מספקות הזדמנויות שוות ואילוצים זהים לכל המתחרים. חברה יכולה להשיג יתרון מסויים אם היא מיישמת את תוכנות הארגון התהליכיות, כמו ERP ו-CRM, בצורה טובה יותר מהמתחרות. אבל פריצות דרך משמעותיות יכולות להגיע רק  מניתוח הרבה יותר מידע, מסוגים שונים שנאספו ממקורות מגוונים. כך למשל איסוף וניתוח  תחומי עניין ופרופילים של רוכשים, על מנת להמליץ על מוצרים עם סיכוי גבוה לרכישה, וכך להגדיל את סל הקניה. תפיסת Big Data אומרת, בעצם, שאם נתחיל להשתמש במידע שזמין בכמויות עצומות סביבנו, יתכן ולא נזדקק לאתר גאונים ולקוות שהרעיונות הטובים איכשהו יבשילו. על ידי מיכון של איסוף המידע ואוטומציה של תהליכים אנליטיים, הגאונות תוחלף בפתרון טכנולוגי שאפשר לבסס עליו אסטרטגיה עסקית ארוכת טווח".

שותפות עסקית, לא מכירת כלים

הטכנולוגיה הבסיסית של Big Data תוכננה להתמודד עם נושא העלויות. "המחיר לטרה-בייט במחסני נתוני Big Data קטן לאין שיעור ביחס לטרה-בייט במסד SQL", אומר סלע. "הפתרון כולל גם רכיבי זמן אמת המספקים מענה מיידי עבור מערכות שנדרשות להגיב מייד וכן לבסס את התובנות על "היתוך" של מידע המגיע ממקורות שונים – שחלקם אולי לא נחשב "נקי" דיו עבור מסד SQL רלציוני – אבל בתהליך Big Data התשתית מפצה על חוסר הסלקטיביות בשלב האיסוף. הפתרונות של יבמ בתחום ה-Big Data לא מתעלמים מהאספקט של מחיר, משום שהמטרה שלנו אינה לקדם מוצר כזה או אחר אלא לתת מענה כלכלי אופטימלי לצורך עסקי ממשי. אנחנו מספקים פתרונות עסקיים אפקטיביים ללקוחות שסומכים על יבמ כשותפה עסקית בעלת ידע טכנולוגי ללא מתחרים, המביאה, בנוסף, ניסיון רב שנים והבנה עמוקה של התעשיות השונות, תרבות עסקית אפקטיבית, ניסיון בין-לאומי ומחוייבות מוכחת לשוק הישראלי. גם בתחום ה-Big Data הלקוחות שלנו מצפים לערך המוסף הייחודי של יבמ: הלימה מושלמת של הפתרון הטכנולוגי לצורך העסקי, הלימה המבוססת על המחוייבות המוכחת של יבמ מיום הקמתה – להיות השותפה הטכנולוגית המועדפת של עסקים מצליחים".

"יבמ הקימה במסגרת מרכז המו"פ צוות יעודי לליווי הטמעות Big Data בישראל, כדי לסייע ולוודא הצלחה של פרויקטי Big Data בראשית דרכם." אומר לייזי נחום קבקוב, ארכיטקט מערכות במרכז הפיתוח של יבמ ישראל. "Big Data אינו יישום סטנדרטי שמותקן 'לפי הספר' אצל משתמשים שונים, בהבדלים מינוריים של הגדרות תצורה." בתפיסת יבמ זו פלטפורמה משותפת למספר גדול של תוכנות רלוונטיות – לאיסוף, שמירה וניתוח נתונים מגוונים ממקורות רבים ושונים – כמו גם אוסף מתודולוגיות יישום שמספקות הנחיות Best Practice עבור משתמשים בורטיקלים שונים. "למעשה, כל לקוח הוא ייחודי מבחינת יכולותיו וצרכיו", אומרת יולביץ. "כדי להענות להם, צריך לצאת מתוך עקרונות היסוד של אנליזה מדעית ולבנות פתרון ,'תפור לפי מידה', כזה שמנצל מיטבית את הנכסים התפעוליים של האירגון ומחפה על פערים שאי אפשר להמנע מהם. כדי לספק פתרון רובוסטי לכל לקוח, הכינה יבמ פורטפוליו רחב מאוד של מוצרים ושירותים." המפורסם ביותר הוא ווטסון, מערכת המחשוב הראשונה שהצליחה להתמודד ולנצח את אלופי משחק הטלוויזיה Jeopardy. בתחרות זו, על המתמודד להבין שאלות וחידות המוצגות בשפה טבעית, רב משמעית ונוגעות למספר עצום של נושאי טריוויה. הלוגיקה שמאחורי ווטסון היא דוגמה מופתית של יישום מתודות Big Data, משום שהמחשב "למד" לענות על שאלות הנשאלות בשפה אנושית אסוציאטיבית. ווטסון מציג טכנולוגיה של מחשוב קוגניטיבי המסייעת כיום למומחים לקבל החלטות טובות יותר על בסיס מידע שקיים במאגרי מידע גדולים.

מיקי סלע, מנהל מכירות פלטפורמות אנליטיות ביבמ ישראל

מיקי סלע, מנהל מכירות פלטפורמות אנליטיות ביבמ ישראל

מאגר כלים ותוכנות קוד פתוח

אך למרות שההישגים של ווטסון ממקמים את יבמ על סקאלה משל עצמה בעולם ה-Big Data והאנליטיקה, חשוב לציין שפלטפורמת Big Data של יבמ כוללת גם מספר גדול של כלים בסיסיים ותוכנות המסוגלות לרוץ על מערכות מחשוב סטנדרטיות. בחלקן, אלה מוצרי קוד פתוח כמו Hadoop ו-NoSQL ובחלקן טכנולוגיות ייחודיות של יבמ המתבטאות בקפיצת מדרגה ברמות הביצועים. לדוגמה, BLU Technology היא טכנולוגיית עיבוד וקטורי של נתונים הזורמים בזיכרון העבודה (ה-RAM) ומנותחים בזמן אמת, ללא התקורה של ניהול מחסן נתונים. טכנולוגיה זו רושמת שיפור ביצועים בפקטור של בין פי 10 לפי 100 – תוך כדי הקטנה של דרישות הזיכרון באמצעות דחיסה בפקטור של 1:10 בממוצע. יבמ מציעה גם מערכת חומרה משולבת תוכנה (Appliance) ייעודי בשם PureData. זהו מנוע אנליטי רב עוצמה, המאפשר הקמה או הרחבה של מחסן הנתונים תוך שבועות בודדים. המוצר מאפשר טיפול וניתוח של נתונים בהיקף עצום, תוך פשטות רבה בתפעול השוטף, ושיפור דרמטי ברמת הביצועים. המערכת תומכת גם בהרחבות עתידיות (Scalability). כחלק ממוצר הדגל שלה לעולם ה-Big Data, ערכת כלי האנליזה BigInsights, מספקת יבמ כלי עבודה ייחודיים כגון: Text Analytics – המאפשר לנתח ולבודד תובנות מתוך כמויות מידע עצומות, ו-Big Sheets – כלי עבודה לאנליסטים דוגמת גיליונות Excel, המאפשר לעבוד עם כמויות המידע הרבות שהם נדרשים לנתח.

יפעת יולביץ ארכיטקטית מערכות במרכז הפיתוח של יבמ ישראל

יפעת יולביץ ארכיטקטית מערכות במרכז הפיתוח של יבמ ישראל

"הניסיון של יבמ בהקמת מערכות Big Data למגוון עצום של שימושים בארצות שונות ובתעשיות שונות מבטיח ללקוח הישראלי שהוא לא שפן ניסיונות. מטבע הדברים, חברה המספקת פתרונות פיננסיים איננה מתמודדת עם אותן בעיות כמו חברה העוסקת בקמעונאות", אומר קבקוב. "לא רק שאנחנו מסוגלים לגייס מומחים ולשאוב ידע מהפרויקטים שנעשו מעבר לים, אנו יכולים גם לפשט דרסטית את הפתרון. יכולת זו נובעת מכך, שברמת התאגיד העולמי, פותחה מתודה לבניית פתרונות Big Data מרכיבים מודולריים, יחידות פונקציונליות סטנדרטיות המשתלבות בקלות כמעט ללא צורך בפיתוח קוד לאינטגרציה. לא משנה מול איזה אתגר אתם מתמודדים – החל בתשתיות IoT לשליטה במרחב העירוני וכלה בניטור הסנטימנט הרווח ברשתות חברתיות – אנו מציעים מגוון כלים פרקטיים לניתוח והצגת נתונים של Big Data ומגוון פלטפורמות להטמעה על פי העדפות הלקוח. יש פתרונות Big Data as a Service בענן, הכוללים בין היתר נגישות לווטסון, ויש פתרונות פשוטים ונגישים יותר לחברות קטנות ובינוניות, המופצים בערוץ השותפים העסקיים שלנו. הליווי הצמוד של מומחי יבמ, עם דגש על הבנת התעשייה, מבטיחים זמן יישום מהיר והצלחה של הפרוייקט. בנוסף, קיימים פתרונות ייעודיים ה"ארוזים מראש", בעיקר לגופי ממשל (כמו 'עיר בטוחה'), לבנקאות, לחברות תקשורת ולרשתות קמעונאיות (Smart Commerce) וכלים לניתוח מידע מרשתות חברתיות להבנת עמדות הצרכן ((Sentiment Analysis לגבי מצרים ומותגים. בהקשר זה מעניין לציין שיתוף פעולה אסטרטגי בין Twitter ליבמ, בו מציגות שתי החברות שירות ענן ראשון מסוגו, המאפשר לאנשי מקצוע בתחומי העסקים ולמפתחים להפיק תובנות עסקיות המבוססות על עמדות, תפיסות והרגשות של מיליוני אנשים על כל היבט בחייהם – המהוות בסיס לפעולה עתידית, מתוך הנתונים הזמינים בטוויטר".

החופש לבחור, הידע ליישם, הכוח לגדול

"היתרון של יבמ נובע מתמהיל ייחודי של מוצרים ושירותים", אומר סלע.  "הגישה שלנו פתוחה לחלוטין, ללא מחסומים מלאכותיים שנועדו לבודד את הלקוח. למעשה, יבמ היא אחת התורמות הגדולות ביותר לעולם ה-Open Source. ברור שיש לנו מוצרים ייחודיים, שנותנים לפתרון של יבמ יתרונות מובהקים, אבל אנחנו יודעים גם לבנות את הפתרון מפסיפס הכולל קוד פתוח ותוכנות של צד ג'. בסל המוצרים של יבמ תמצאו את כל הרכיבים הדרושים לבניית מערכת פרטית, באתר הארגון או לעבודה בענן. זה יכול להיות ענן פרטי, ציבורי או היברידי, עם פרופורציות שונות של הקצאת משאבים וחלוקת העבודה בין הפלטפורמות השונות. שרותי ענן ציבוריים (Bluemix) מאפשרים שילוב מהיר של שירותים מעולמות תוכן שונים (Cognitive, Analytics, Hadoop, Time Series DashDB)). בחשיבה של יבמ, תפיסת Big Data היא מודל עסקי בשל ליישום בעולם האמיתי, השקעה שמספקת תשואה ניתנת למדידה בפרמטרים כלכליים כמותיים כמו ROI ו-TCO. זו הסיבה שארגונים רבים שילבו כוחות עם יבמ והחליטו ליישם את התפיסה במערכות הייצור שלהם".

>>>קחו את הארגון קדימה עם IBM Insights>>>

לאחרונה הכריזה יבמ על שיתופי פעולה מעניינים נוספים בתחום ה-Big Data. כך, לדוגמא, שיתוף הפעולה עם פייסבוק, שבו  מומחי המעבדות של עולם ה-Commerce של יבמ יעשו שימוש באלגוריתמים עליהם עבדו על מנת להתאים ללקוחות Facebook פרסומים ממוקדים ומדוייקים יותר מכפי שנעשה קודם. שיתוף פעולה מעניין נוסף נעשה עם The Weather Company, על מנת לאפשר שימוש במידע הרב שיש בידיהם אודות מזג אוויר וחיזויו, ולהעבירו לאחר האנליזה הדרושה לעסקים המושפעים ממנו.

מילון מושגי יסוד בתחום ה-Big data
• Hadoop – פרויקט קוד פתוח של קרן התוכנה Apache, המגדיר מסגרת תוכנה ליישום מבוזר המעבד כמויות גדולות של נתונים (Big Data)
• No SQL – כינוי כללי למאגרי נתונים שמנהלים בצורה יעילה מידע מובנה ושאינו מובנה וצורת הניהול והתשאול לא עוברת דרך כלים של SQL (שפת מסדי הנתונים הותיקה). מה שמייחד אותם הוא היכולת לנהל ולתחקר מידע מובנה ובלתי מובנה באופן שלא תוכנן מראש.
• Predictive Analytics – שימוש בתבניות סטטיסטיות מורכבות על מנת לחזות תרחישים רצויים כגון: צפי מכירות, חוסר שביעות רצון של לקוח, נפילה צפויה של מערכת חשובה וכו'.
• ויזואליזציה – הרמה הפשטנית ביותר לניתוח נתונים ע"י כלים שמאפשרים חיפוש והסתכלות אינטואיטיבית על הנתונים שנאספו באופן ויזואלי.
• Open Data Platform – שיתוף פעולה בין ארגונים מובילים בתחום ה-Big Data סביב Apache Hadoopשמסדיר סטנדרטיזציה של הקוד הפתוח ומאפשר שיתוף של משאבים לקידום פרוייקטי Big Data. יתרונה בשקט למפתחים שאינם נדרשים "לרדוף" אחר שינויים ועדכונים קטנים תוך כדי הפיתוח. יבמ היא שותף בכיר ובין המובילות את השת"פ.
• R – תוכנה סטטיסטית מבוססת קוד פתוח שחוקרים ואנליסטים יכולים להשתמש בה על מנת לבצע חקר מעמיק של נתונים. יבמ עושה אדפטציה של R לניתוח כמויות מידע גדולות על בסיס Apache Hadoop כחלק מהמוצר BigInsights
• Machine Learning – תחום העוסק בפיתוח אלגוריתמים המיועדים לאפשר למחשב ללמוד, ללא צורך בתכנות ספציפי, מתוך דוגמאות לשימושים השונים על ה-Data. לדוגמא: הסבר מה יחשב נורמאלי בתחום מסויים, על מנת שהמערכת תדע להציג אנומליות.

 

 

* כתבה פרסומית

 

אודות יהודה אלידע

עורך ראשי. במהלך חצי יובל השנים האחרונות ביסס יהודה אלידע את מעמדו המוביל בין העורכים והפרשנים של טכנולוגיות מידע בישראל, הודות לרקע מדעי (MSc בפיזיקה ממכון ויצמן), ניסיון ניהולי (15 שנה בשיווק וניהול חברות בישראל ובחו"ל), גישה אנליטית ומחויבות לעיתונאות אחראית. יהודה אלידע ייסד, ניהל וערך את המהדורה הישראלית של PC Magazine ואת NET Magazine וב-12 השנים האחרונות הוא העורך הראשי של IT מגזין, מוסף המחשבים של גלובס, בנוסף לאחריותו על התכנים המקצועיים של פורטל IT News.