О технологиях Big Data и их практическом применении длительное время говорит весь ИТ-рынок. И если раньше они казались чем-то недостижимым, то сегодня остается только удивляться количеству и разнообразию областей их применения. Мы, в «Неофлекс», уже более трех лет реализуем проектные решения для наших заказчиков – банков, логистических, ритейловых компаний. В процессе работы над ними мы изучали продукты экосистемы Big Data, что-то применяли и оставляли в работе, от чего-то отказывались. За этот период нами были опробованы разные технологии и подходы к разработке, тестированию, внедрению, что позволило выбрать лучшие варианты. И именно о них пойдет речь ниже.
Хочу отметить, что на этапе практического освоения нового стека технологий для нас было важно не просто поиграть с «модными игрушками». Главной целью было и остается решение задач наших заказчиков оптимальными средствами. И кроме того – повышение скорости и прозрачности процесса разработки.
Data Lake для исследования и монетизации данных
Достаточно заметный тренд последнего года в области «больших данных» – стремление заказчиков к их монетизации. На каждой конференции, в статьях, запросах со стороны наших клиентов мы видим проекты компаний по получению доходов от использования данных – своих, чужих и смешанных. И если раньше эта идея витала в воздухе только в виде разговоров, сейчас технологическая зрелость ИТ-рынка подошла к такому уровню, когда эти задачи отлично реализуемы с помощью стека технологий Big Data. Стоимость хранения данных продолжает снижаться. Современные технологии Active Archive, compaction, да и общие принципы масштабирования в Hadoop позволяют использовать low-end железо. Наши исследования подтверждают, что при переходе с традиционных технологий хранения данных на Big Data стоимость хранения снижается с 20$ до 2$ за 1 Гб. Объемы уже накопленной информации огромны. В дополнение к уже собираемым данным теперь можно сохранять для дальнейшего анализа запросы клиентов, записи звонков, отзывы из соцсетей, диалоги в мессенджерах и так далее. А подключив математическое моделирование и машинное обучение к анализу данных, можно обнаружить интересные закономерности и взаимозависимости, что послужит драйвером для более глубокого понимания клиентов, продуктов, процессов. Вот здесь и появятся способы монетизации накопленной информации.
У нашей команды есть опыт построения хранилища данных на Hadoop. Традиционно занимаясь построением хранилищ данных для банков с целью формирования обязательной, управленческой и прочей отчетности, мы не ожидали того эффекта, которого достигли в результате проекта по внедрению системы отчетности Neoflex Reporting Big Data Edition для одного из заказчиков. Вместо «нормальных» для кредитной организации 6–8 часов на загрузку данных из систем, преобразование, очистку, предрасчет, агрегацию и формирование витрин отчетности весь процесс на технологиях Big Data занимает около 25 минут. Теперь у нашего клиента нет понятия «упала загрузка, отчет будет только завтра» или «ждите, нам нужно откатить данные из-за ошибки». Заказчик удаляет то, что некорректно, и за те же 25 минут загружает данные заново. Сотрудники отдела отчетности могут спать спокойно. Кроме того, с помощью технологий Big Data можно объединить данные традиционных хранилищ с данными из внешних источников, таблицы с XML и JSON, исследовать фото-, видео- и аудиофайлы. Все типы данных, загруженные в единое пространство – Data Lake – будут доступны пользователям. Возможно, именно анализируя всю имеющуюся информацию в совокупности, ваша компания обнаружит источники потерь, «бутылочное горлышко» в бизнес-процессах, неиспользуемые ресурсы.
Моделирование для сохранения лидерства
Модели сейчас используются практически в каждой организации: продуктовые, классифицирующие, прогнозирующие поведение и уход клиентов, формирующие кросс-предложения, рассчитывающие лимиты и ценообразование. Модели, которые имеют свой жизненный цикл, которые требуется сопровождать, мониторить, валидировать. Если моделей десяток, вы их знаете наизусть. А если сотня? А если модели часто пересматриваются? В случае использования модели в бизнес-приложении как выносить изменения? Именно управление моделями в организациях сегодня также важное направление, где используются технологии Big Data. Здесь мы предлагаем нашим заказчикам комбинацию микросервисов и технологий DevOps плюс интерфейсы для управления жизненным циклом моделей. Переход на новую версию модели без остановки приложения – как перебрать движок в заведенном авто, и мы это делаем. И помогаем нашим заказчикам сохранять лидерство на рынке за счет использования современных технологий.
Datagram для снижения порога входа в Big Data
Когда за работу берутся настоящие профессионалы, не обходится без желания оптимизировать работу и облегчить ее ручную составляющую. Именно так появился Neoflex Datagram – среда визуальной разработки ETL–приложений в архитектуре Big Data, которая позволяет конструировать процессы обработки данных, в том числе потоковых. После чего происходит генерация исходного кода на языке Sсala, сборка приложения, его развертывание, планирование запуска и последующий мониторинг. Область применения Neoflex Datagram довольна широка. На основе платформы Datagram мы создали его специализированную версию – Neoflex Datagram Streaming Edition, который может применяться для решения более сложных задач в области потоковой обработки данных, в том числе с помощью применения моделей машинного обучения. Так, мы умеем решать задачи по выявлению аномальных ситуаций в работе сложного оборудования и автотранспорта, анализируя данные с датчиков. Эта технология используется в одном из наших проектов для транспортной компании. Довольно интересно наблюдать в онлайн-режиме, как машины передвигаются по карте города, видеть маркер времени.
Streaming analytics для захвата внимания клиента
Современные стандарты обслуживания клиентов, причем в разных отраслях, требуют новых подходов. Конкуренция за внимание потребителей продолжает расти, а значит, реакция на их запросы, действия и область интересов также должна быть более оперативной. Захват внимания клиента и обработка информации должны происходить фактически в режиме реального времени. И по такому же принципу формируются индивидуальные предложения, выводится на экран чат для получения консультации в случае затруднений, да и сайты все чаще персонализированы под конкретный запрос и тип клиента. Чем быстрее отклик продавца на запрос клиента, чем внимательнее к нуждам конкретного покупателя, тем выше продажи и лояльность к бренду. А современные технологии streaming processing и streaming analytics позволят сделать реальными даже самые высокие стандарты обслуживания. На рынке streaming технологий появляется все больше интегрированных продуктов. Из последнего – платформа Snowplow, с помощью которой компании могут решать традиционные задачи в области Web-аналитики.
Open API. API Management Platform для захвата новых рынков
Кроме того, современным организациям в борьбе за клиентов постоянно приходится искать новых партнеров. Для того чтобы выполнить их быстрое, безопасное и легко управляемое подключение к внутренней ИТ-инфраструктуре, требуется специальная API Management платформа. Например, в одном из проектов для крупного иностранного банка наши специалисты с помощью Open API смогли обеспечить подключение новых партнеров к банковским сервисам в достаточно короткие сроки, что является важным в условиях, когда речь идет о конкуренции за охват банковскими услугами аудитории в 50 млн человек.
Микросервисы для быстрого развития
Чтобы обеспечить высокую скорость разработки сложных приложений, над которыми работают большие команды разработчиков, и при этом сохранить высокое качество, мы перешли к работе над этими задачами с помощью микросервисной архитектуры, подключив при этом наших самых опытных специалистов. Поначалу новые паттерны давались тяжело, но за последние пару лет мы накопили внушительный опыт и создали собственную библиотеку подходов к разработке микросервисов. Это позволило легко вводить в команды разработки новых людей и обеспечивать высокую скорость развития приложений и сервисов.
DevOps для повышения качества разработки кода
Более года назад в компании появилось подразделение «Инженерные практики», которое объединило специалистов нагрузочного тестирования и DevOps-инженеров. За этот довольно короткий срок мои коллеги успели изучить целый ряд новых технологий и принять участие в развертывании инфраструктуры и построению DevOps-процессов для ключевых клиентов компании. Сегодня уже ни один проект не обходится без участия DevOps-команды. И это позволило предоставить нашим заказчикам консолидированную экспертизу в области обеспечения качества ПО и выполняемых проектов за счет высокого уровня автоматизации всех этапов разработки и сопровождения. Сейчас «Инженерные практики» – одно из наиболее динамично развивающихся подразделений в компании, где коллеги совершают инженерные чудеса. Например, заставляют стабильно работать сборку из двух десятков различных технологических решений, автоматически запускают сборку релизов ПО, поднимают сложные ИТ-среды и предоставляют отчеты о мониторинге процессов в удобных для наших заказчиков каналах, включая мессенджеры. По сравнению с инженерными практиками прошлых лет это кажется чем-то необыкновенным. О полученном опыте мы неоднократно рассказывали на профильных конференциях и даже приняли участие в переводе и издании на русском языке книги «Руководство по DevOps. Как добиться гибкости, надежности и безопасности мирового уровня в технологических компаниях».
Подводя итоги, хочу сказать, что сегодня технологии все больше и больше становятся бизнес-ориентированными. Так что у заказчиков есть возможность выбирать лучшее из того, что есть на рынке, и реализовывать действительно масштабные проекты, которые позволят удерживать лидерство и создавать новые конкурентные преимущества. И, конечно, идти в такие проекты стоит с надежным и проверенным ИТ-партнером, который заинтересован в вашем успехе.