Дата обновления: 21.03.2021
Город: Москва
Категория: Добыча сырья
Тип занятости: Не имеет значения
Текст вакансии:
компания "иннотехнум, группа компаний"
проект геоплатформа:
•"геосервисы: геокодирование, маршрутизация, поиск ближайшего
•веб-интерфейс для просмотра данных на основе карты
•пакетные etl-процессы обработки геоданных
•витрина геослоев
мы в поисках сильного архитектора платформы анализа графов, который сможет активно включиться в проектирование и архитектурный надзор.
наша команда
- отвечает за развитие озера данных (data lake), включая data research platform (где бизнес-пользователи сами могут исследовать данные, собранные со всей компании)
- создает pipeline для внедрения в промышленную среду моделей, созданных с помощью machine learning
- обрабатывает как структурированные, так и неструктурированные данные (новостные ленты, чатботы, сканы документов)
- создает графовую платформу, позволяющую в пакетном и real-time режиме обрабатывать, анализировать и визуализировать граф клиентов и транзакций
- интегрирует десятки источников внешних данных для обоснованного принятия решений
технологический стек:
- cloudera hadoop, object storage (ceph, s3)
- arangodb
- языки java, .net (c#), sql, spark
- airflow
- openshift
- kafka, kafka streams, websphere mq
- elk, prometheus, grafana
- bitbucket, teamcity, nexus, jira, confluence
существующее озеро данных активно используется для сбора и подготовки данных для нужд различных подразделений, включая data science, потоковую обработку и регуляторную отчетность. мы успешно поддерживаем его, обеспечивая наличие и качество данных необходимых нашим заказчикам.
ты - наш идеальный кандидат, если:
- знаешь, как устроены хранилища данных (как реляционные, так data lake);
- понимаешь, как строить витрины на основе детальных слоев;
- тебе нравится разбираться в специфике данных и процессов, чтобы создавать качественные модели данных;
- готов взаимодействовать с множеством команд и воплощать agile-подход в крупной организации;
- у тебя системное мышление;
- в целом очень любишь развиваться сам и развивать экосистему вокруг себя.
описание задач:
- проектирование платформы анализа графов;
- развитие модели данных витрины графов на стороне hadoop;
- развитие подход к загрузке и обновлению графов в специализированной субд arangodb;
- развитие пользовательского функционала для работы с графами;
- проектирование графов;
- развитие сервисов графов;
- согласование архитектуры с заинтересованными подразделениями;
- взаимодействие с бизнес-владельцами систем с целью уточнения семантики данных, особенностей бизнес процессов и используемых объектов;
- выявление рисков и недостатков в существующей архитектуре данных.
требования:
- высшее техническое образование;
- хорошее знание базовых концепций и принципов построения хранилищ данных;
- опыт проектирования графовой платформы (включая базу данных, сервисы и пользовательский интерфейс);
- знание одной из графовых баз данных (neo4j, titan, arangodb и т.д.)
- хорошее понимание микросервисной архитектуры;
- желательно знание принципов построения ит инфраструктуры с реализацией схем ha (high availability) и dr (disaster recovery)
- будет плюсом опыт работы в банке, телекоме, крупном системном интеграторе или консалтинговой компании от 3 лет;
- развитые навыки коммуникации, презентации, решения конфликтов;
- владение английским для чтения технической документации.
условия:
- комфортный офис в одной минуте пешком от м. "крестьянская застава/пролетарская";
- возможность работы удаленно;
- команда профессионалов, готовых делиться опытом;
- социальный пакет, включающий дмс, страхование выезжающих за рубеж;
- льготное кредитование, программа корпоративных скидок;
- профессиональные обучающие курсы и конференции в россии и за рубежом.
Контактные данные:
Вакансия неактуальна и сохранена только в информационных целях.