Розумне місто

Elastic: зростаючому обсягу big data потрібні ефективні інструменти пошуку

Big data, Анализ больших данных, Поиск

Нідерландська компанія Elastic NV, заснована в 2012 році і раніше відома як Elasticsearch, розробляє корпоративні рішення для самостійного управління і SaaS для пошуку, ведення журналів, забезпечення безпеки і аналітики. Фахівці Elastic NV заявили, що неструктуровані великі дані (враховуючи темпи їх накопичення) потребують ефективних інструментах пошуку. Зараз компанія стикається з жорсткою конкуренцією з боку постачальників хмарних обчислень, що використовують ту ж технологію.

Технологія Elastic в основному використовується при аналізі логів (файлів, що містять системну інформацію про роботу сервера або комп’ютера), однак вона корисна і для додатків IoT, і її цінність особливо збільшиться після появи 5G. Процес пошуку забезпечує швидке отримання актуальної інформації і найважливіших відомостей з великих обсягів даних.

Пошук характеризується наступними важливими параметрами:

  • швидкість, з якою ідентифікується інформація;
  • масштаб вхідних даних для пошуку;
  • актуальність результатів;
  • аналіз пошукових результатів.

Тенденції, що підвищують попит компаній на технології пошуку:

  • користувачі, яким потрібно більше додатків. Споживачі звикли до функціональності на вимогу і процесів, які займають кілька секунд. Пошук дозволяє
  • постачальникам додатків швидко адаптувати контент і юзабіліті під аудиторію;
  • підвищена складність пошуку корпоративних IT-систем;
  • зростаюча потреба в даних, розширення спектра бізнес-функцій;
  • збільшення обсягу, різноманітності та цінності даних;
  • досягнення в області аналітики. Використання передових аналітичних методів для підвищення релевантності результатів і розширення обсягів і типів наборів
  • даних, які вони обробляють.

Неструктуровані дані в даний час збільшуються зі швидкістю 26,8% на рік у порівнянні зі структурованими (19,6% на рік). Big data містять текст в документах і веб-сторінках, структуровану інформацію з баз даних, зображення, відео, аудіо та дані давачів з пристроїв IoT. Інструменти пошуку і аналітики для неструктурованих даних все ще на стадії розвитку, і чим краще вони будуть, тим вище буде цінність отриманої інформації.

В даний час якість аналізу і використання big data гальмують такі фактори, як повільна обробка, відсутність масштабування, складність використання. Компанія Elastic використовує відкритий вихідний код, так як вважає, що він сприяє більш швидкому впровадженню програмного забезпечення клієнтами.

Elastic Stack – це набір програмних продуктів, призначених для прийому і зберігання даних з будь-якого джерела, в будь-якому форматі і виконання пошуку, аналізу та візуалізації в режимі реального часу. Elastic Stack складається з чотирьох основних елементів, які в комплексі утворюють інтегроване рішення:

  • Elasticsearch – механізм пошуку і аналізу, побудований на основі Apache Lucene. Працює в реальному часі, надає сховище для структурованих і неструктурованих даних;
  • Kibana – призначений для користувача інтерфейс для Elastic Stack і платформа візуалізації для Elasticsearch;
  • Beats – інструмент відправки дані з периферійних пристроїв в Logstash або Elasticsearch;
  • Logstash – отримує дані з декількох джерел одночасно, перетворює їх і відправляє в сховище.

Програмні рішення Elastic можна використовувати для:

  • пошуку додатків (інструменти містять панель пошуку, тимчасові рамки і повзунки цін, виділення результатів, географічні фільтри і рекомендації по продукту;
  • пошук по сайту;
  • корпоративний пошук (в тому числі пошук медичних файлів, повідомлень, юридичних документів і презентацій з використанням обробки природної мови);
  • ведення журналу (пошук в журналах сервера);
  • метрики (пошук і аналіз числових даних і даних часових рядів, таких як завантаження процесора);
  • управління продуктивністю додатків;
  • бізнес-аналітика;
  • аналітика безпеки.