כריית מידע מהאינטרנט

כריית מידע מהאינטרנט – data crawling / data scraping / data harvesting

רשת האינטרנט מכילה מידע רב. לעיתים יש צורך לאסוף מידע מרשת האינטרנט ולשמור אותו בצורה מסודרת במאגר נתונים לצורכי עיבוד נתונים. לדוגמא: איסוף נתוני מזג האוויר בערים מרכזיות בעולם, איסוף נתונים של מחירים של מוצרים שונים באתרי מכירה ישירה, איסוף רשימת השירים המושמעים ביותר בבריטניה בין תקופות ועוד ועוד.

אנו מספקים ללקוחותינו שירותי איסוף נתונים אותם ניתן לתפור בהתאם לצורכי הלקוח, המידע שרוצים לאסוף, תדירות האיסוף, אופן הנגשת המידע (קבצי אקסל, קבצי טקסט, SQL, שירות רשת וכדומה) ועוד.
הכלים שפיתחנו כוללים שרת איסוף נתונים המנהל את עבודות האיסוף ותחנות איסוף נתונים המתקשרות עם שרת האיסוף באמצעות Web-services לצורך קבלת הוראות והעברת המידע.
המידע הגולמי שנאסף עובר טיוב נתונים ועובר לשימוש במערכות ה-production. כל התהליך נעשה אוטומטית.

אנו אוספים ומאחזרים באופן שוטף מידע מהאינטרנט כגון ממדריכי טלפון מקוונים, רשתות חברתיות, אתרי מכירות, אתרי פרסום מודעות, נתוני דומיינים ורבים אחרים, בהתאם לצרכים שלנו ולבקשת לקוחותינו. יכולת עבודה מול אתרים הכוללים מנגנוני captcha.

שירותים משלימים:

• ביצוע טיוב נתונים או השלמת נתונים לרשומות שהלקוח מספק מול אתרי אינטרנט בהם קיים מידע שהלקוח מעוניין להוסיף לרשומות שלו.
• אנליזה ותיעדוף נתונים.