Розумне місто

Сінгапурський проект Apache SINGA: платформа глибокого навчання і аналізу великих даних

Команда дослідників з Національного університету Сінгапуру (NUS) зробила ще один крок по формуванню іміджу країни і присвоєння державі масштабної ролі в розвитку технології штучного інтелекту і великих даних. Проект NUS з відкритим вихідним кодом – Apache SINGA – завершив проходження стадії Apache Incubator у жовтні 2019 року. В даний час він є першим проектом верхнього рівня (TLP, top level project) в Південно-Східній Азії в рамках діяльності Apache Software Foundation. Це найбільше в світі співтовариство по розробці програмного забезпечення з відкритим вихідним кодом.

Тепер проект Apache SINGA входить в число провідних інструментів з відкритим вихідним кодом, нарівні з Apache HTTP Server і Apache Kafka. Останній надає послугу аналізу великих даних таким великим компаніям, як Airbnb, LinkedIn, Netflix, PayPal, Spotify і багато інших. HTTP-сервер Apache є найпопулярнішим веб-сервером в світі, і в даний час обслуговує 29% усіх активних веб-сайтів в Інтернеті.

Компанія Apache SINGA, очолювана професором Оої Бенг Чином (Ooi Beng Chin), була створена Групою по дослідженню систем баз даних (Database System Research Group) зі Школи обчислювальної техніки при Національному університеті Сінгапуру (NUS) спільно з Університетом Чжецзян і NetEase у 2014 році. Прототип системи був представлений в Apache Incubator в березні 2015 року, а перший офіційний реліз був зроблений в жовтні того ж року. З тих пір дослідники NUS отримують підтримку від Національного дослідницького фонду Сінгапуру, Міністерства освіти і Агентства з науки, технологій та досліджень.

Професор Оої підкреслив, що в 2012 році був зафіксований стрибок попиту на платформи для глибокого навчання і аналіз великих даних, але на загальносвітовому ринку тоді не було ефективних робочих платформ. Сьогодні Apache SINGA є однією з найвпливовіших інтелектуальних платформ, які впливають на технологію глибокого навчання. Таке ж значення Apache HTTP Servers раніше надав на розвиток серверів веб-сайтів.

Глибоке навчання – підмножина машинного навчання, в якому нейромережа використовується для розпізнавання великих обсягів даних. У той час як машинне навчання зазвичай вимагає від людей надання вже структурованих даних, глибоке навчання саме по собі може впорядковувати необроблені дані. Наприклад, при ідентифікації зображення кішки машинне навчання потребують участі людини, щоб визначити, що у кішки є такі особливості, як вуса, гострі вуха і лапи. Глибоке навчання відразу проаналізує кілька зображень кішок за допомогою різних алгоритмів, щоб визначити всі функції самостійно, імітуючи діяльність мозку. Єдина важлива незручність глибокого навчання полягає в тому, що для нього потрібен астрономічний обсяг даних, який, в свою чергу, вимагає великих обчислювальних потужностей.

Типова централізована система зажадає наявності суперкомп’ютера для обробки всієї цієї інформації, і це незручно для більшості організацій. Системний підхід Apache SINGA усуває потребу в одному суперкомп’ютері і розподіляє робоче навантаження на велику кількість звичайних комп’ютерів. В даний час рішення працює в таких секторах, як охорона здоров’я, банківська справа, фінанси, розробка програмного забезпечення та кібербезпека.