יום שישי , אוקטובר 20 2017
מבזקים
דף הבית > כללי > Aster Data מבית Teradata – מהפכה באנליטיקה מעל Hadoop

Aster Data מבית Teradata – מהפכה באנליטיקה מעל Hadoop

 

איך משיגים יתרון תחרותי מ- Big Data Analytics מבוסס Hadoop, מבלי לגייס צי של Data Scientists יקרים?

מאת: נחום דוניצה

יותר ויותר חברות וארגונים מסורתיים, שהולכים בעקבות חברות הדוט-קום המצליחות, הפנימו זה מכבר את הפוטנציאל הגלום בהקמה של חוות נתונים גדולה ((Data Lake המבוססת על Hadoop, והמאפשרת לשמור בעלויות נמוכות יחסית נתונים היסטוריים בלתי מובנים (Unstructured), הקרויים גם נתוני Big Data. זאת גם אם עדיין לא קיימת ודאות לגבי אופי התובנות שניתן להפיק מנתונים אלה. מה שכן ברור, זה שאם לא יישמרו אותם נתונים, ולא ייעשו ניסיונות לנתח אותם עם קורלציה לסוגי נתונים אחרים מובנים או בלתי מובנים, כנראה שלעולם לא נדע איזה תובנות "שוברות שיווין" הפסדנו.

טל נועם

טל נועם

מה ש- Hadoop מאפשר לנו כיום לעשות בצורה יעילה וכלכלית, זה לאחסן נתונים בעלי "צפיפות ערך נמוכה", כלומר: נתונים בעלי ערך עסקי נמוך באופן יחסי לכל טרה-בייט (TB) של נתונים שמאוחסנים. במקביל, נתונים בעלי "צפיפות ערך גבוהה", החיוניים בארגון לביצוע אנליזות, כדוגמת נתוני מכירות, ייצור, פיננסים וכד', ממשיכים להיות מאוחסנים ולהיות מנותחים ב- Data Warehouse הארגוני.

"Hadoop מספק פתרון טוב לחלק מהבעיה של ניתוח נתונים, בכך שהוא מאפשר לאחסן נפח גדול של נתונים בצורה זולה, אך זה רק צד אחד של המטבע" אומר טל נועם, מנהל חטיבת מערכות Data Warehouse & BI בחברת מיטווך, נציגת Teradata ומפיצה של Microstrategy בישראל. "הקמה של Data Lake יצרה אתגר חדש, והוא: היכולת לנתח ולהפיק את אותן תובנות "שוברות שיוון" בצורה יעילה מהנתונים שנאספו ושמאוחסנים בארגון. לצורך ביצוע ניתוח כזה נדרשת מומחיות של שימוש בשפות תכנות מורכבות כדוגמת Java, Scala, Python ומומחיות זו מצריכה גיוס של כוח אדם יקר. לאחר שהארגון הצליח לגייס כוח אדם מסוג זה, עומדים מנהלי הארגון בפני הקושי לשמר בארגון עובדים אלה לאורך זמן, מבלי שיעזבו לחברות דוט-קום וסטארט-אפים מבטיחים ומתגמלים. ואומנם, חלק מהארגונים בארץ ובעולם אכן מספרים על תופעה רווחת של Data Scientists שגוייסו לעבודה, ועזבו את הארגון מספר חודשים לאחר קליטתם בעבודה בו."

 

עוד מוסיף נועם כי "חברות וארגונים מסורתיים, בניגוד לחברות דוט-קום, מתבססים בעיקר על אנליסטים עסקיים (Business Analysts) להפקת תובנות, אשר לא רק שהם זמינים בארגון, אלא שהם גם מבינים לעומק את צרכיו של הארגון, ועל כן הם בעלי פוטנציאל גבוה יותר למציאת תובנות בעלות ערך עסקי לארגון. אך לצורך עבודה ישירה על Hadoop, האנליסטים הללו זקוקים בדרך כלל לצידם לאותו משאב של כח אדם יקר לצורך ניתוח נתוני ה- Big Data שנאגרו בחוות הנתונים".

את הצורך הזה בהנגשת טכנולוגיית ה- Big Data לאנליסטים עסקיים ממלאת כיום תוכנת  Aster Data מבית Teradata , אשר כבר פועלת אצל גופים פיננסיים ואחרים מובילים בעולם, כדוגמת Wells Fargo. תוכנה זו, אשר בגרסתה הנוכחית פועלת גם באופן ישיר מעל Hortonworks / Cloudera Hadoop ומנוהלת ע"י YARN (מנגנון ניהול המשאבים הג'נרי של Hadoop), מאפשרת לכל אנליסט בארגון, המכיר SQL בלבד, להפיק תובנות עסקיות חדשניות בעולם ה- Big Data, מבלי שעליו להיחשף למורכבות הנדרשת לשם כך.

נועם: "הפטנט של  Data Aster מאפשר הפעלה של יותר מ-100 פונקציות מובנות של Big Data שכבר קיימות במערכת שלנו, תוך שימוש ב- SQL סנטדרטי בלבד, והגדרת פרמטרים שלפיהן תופעלנה פונקציות אלה. באופן הזה ניתן לבצע פעולות תיחקור וניתוח מורכבות – כולל  גם פעולות מורכבות של פירוק או הבניית נתונים, וזאת על ידי אנשים בארגון שאינן מומחים בשפות תיכנות מורכבות לניתוח Big Data. פעולות אלה נעשות תוך כדי תהליך התיחקור

(On the Fly), למשל: על ידי שימוש בפונקציות Parser מסוגים שונים באמצעות Select פשוט וישירות מעל Hadoop, וכמובן גם ללא הצורך בשכפול הנתונים מחוות הנתונים אל שרת חיצוני לצורך הניתוח. בנוסף לכך, אנליזות מורכבות המבוססות על שימוש בקוד הפתוח R, עברו התאמה ל-Data  Asterוהן ניתנות ליישום ולשימוש בצורה פשוטה ע"י אותם אנליסטים עיסקיים, תוך התגברות על הבעיות הנפוצות של מגבלת הזיכרון וחוסר המקביליות של R. ולבסוף, יתרון נוסף משמעותי של סביבת פיתוח ותיחקור רובסטית זו, היא היכולת לאכוף הגדרות של אבטחת מידע ו- Governance הנדרשות כאשר הארגון רוצה לחשוף מספר גדול של אנליסטים לעבודה במקביל מול Hadoop, בצורה מיטבית."

באמצעות השימוש במערכת Aster Data , יישמו חברות וארגונים מובילים בעולם אפליקציות ייחודיות המשתייכות לעולם ה- Big Data, לדוגמה: אפליקציית ה- Customer Journey Analytics הידועה של Teradata. אפליקציה זו מאפשרת לנתח, להבין ולזהות את אותם רצפים של אירועים (Paths), המוביל לתוצאה מסויימת, למשל: לנטישת הלקוח את הארגון, או לחילופין: לרכישה של מוצר על ידי הלקוח (Golden Path to Purchase). זאת על ידי ניתוח של מיליוני אירועים ואינטראקציות בחיי הלקוחות עם הארגון, בכל הערוצים. יישום זה הינו דוגמה אחת מיני רבות, ליתרון התחרותי שניתן להשיג כאשר מנגישים לאנליסטים עסקיים המכירים היטב את הארגון, טכנולוגיה ייחודית כזו מעולם ה- Big Data.

שימוש נפוץ נוסף שלAster Data  בעולם הוא בתחום ניהול הסיכונים: Risk Scoring  בכלל, ו-  Credit Scoring בפרט. במסגרת יישום זה, אנליסטים בתחום ה- Credit Scoring יכולים לשפר את המודלים באמצעות שילוב של אנליטיקה מסוגים שונים (Multi-Genre Analytics) מעולמות ה- Big Data. הכוונה היא בין היתר לשימוש בשיטות קיימות (או חדשות) בתחום מסויים, והשלכתו אל תחום אחר: לדוגמא, שימוש ב-   Graph Analytics של קשרים מעולם השיווק, במשולב עם Time Series Analysis ומודלים סטטיסטים מסורתיים, לצורך שיפור מודל החיזוי של חדלות פרעון.

לסיכום, אומר נועם, חשוב לזכור שהקמת Data Lake מבוסס Hadoop אינה המטרה הסופית, אלא רק אמצעי לאגירת נתונים, לצורך גילוי תובנות חדשות מסוגים חדשים של נתונים או מסוגים חדשים של אנליטיקה. על מנת לאפשר את הגילוי של אותן תובנות חדשות, יש לעודד חשיבה יצירתית ורחבה בארגון, ולשם כך אין כמו מתן כלי מתאים בידי האנליסטים העסקיים הקיימים כבר בארגון. מערכת Aster Data מאפשרת לעשות זאת: היא מהווה את הנדבך המשלים לאיסוף הנתונים ואיחסונם, בהיותה מאפשרת לנתח את הנתונים שנאגרו באופן נגיש ויעיל, ועל ידי מי שזה תפקידו בארגון. כך היא מגשרת על פני פער הידע הנדרש בכדי להנגיש את האנליטיקות של עולם ה- Big Data לאותם משתמשים המכירים היטב את הארגון ואת צרכיו.

החטיבה למערכות Data Warehouse & Business Intelligence בחברת מיטווך מתמקדת במכירה, ביישום ובמתן שירותי תחזוקה ותמיכה, למשפחת מערכות Teradata , Aster Data ו-Microstrategy . החטיבה גם מבצעת פרויקטים ומפתחת אפליקציות בתחום הבינה העסקית אצל לקוחותיה, על בסיס טכנולוגיות אלה. לאחרונה משולבות המערכות שבהן עוסקת החטיבה, בעולם ה- Big Data ובמוצרי קוד פתוח. המערכות שמספקת החטיבה מפיקות תוצרים בעלי חשיבות אסטרטגית ותפעולית, לארגונים גדולים, בינוניים וקטנים. הפרויקטים המבוצעים על ידי החטיבה מהווים אבן יסוד בניהול מודרני ואפקטיבי של פעילויות עסקיות רבות.
 

 לאתר: http://ncr.co.il/data_warehouse_bi/

אודות מערכת ITNEWS מאיר עשת

מנהל/עורך אתר ITNEWS. בוגר כלכלה ומנה"ס באונ' בן גוריון ו- MBA בירושליים. בעבר: כהן כיועץ כלכלי מטעם המדינה בהולנד ובהודו. היה סמנכ"ל שיווק בברדר, משנה למנכ"ל בסטארטאפ TVNGO, מנהל IT מגזין של גלובס בשנתיים האחרונות.