Мы строим централизованное корпоративное хранилище данных (DWH) для поддержки управленческих решений. Ключевой источник данных —1С:Предприятие, а также внешние источники. В нашей экосистеме — десятки источников, критически важная отчётность и растущие объёмы информации. Нам нужен специалист, который не просто пишет запросы, а проектирует слои данных (ODS, DDS, DM) и обеспечивает их стабильную, своевременную доставку до конечных витрин.
Стек: PostgreSQL | Apache Airflow | Apache Superset | n8n
Чем предстоит заниматься:
• Разработка ETL/ELT-процессов: Писать эффективные процедуры на PL/pgSQL и сложные скрипты для инкрементальной и полной загрузки данных в DWH на базе PostgreSQL и Clickhouse;
• Интеграция с 1С: Настраивать и сопровождать конвейеры по выгрузке данных из 1С (прямые SQL-запросы к базе 1С). Обеспечивать корректное преобразование справочников и документов 1С в реляционную модель DWH;
• Оркестрация пайплайнов с учётом дискретности: Настраивать DAG-и в Apache Airflow с гибкими расписаниями, учитывая регламент обновления разных источников. Управлять окнами загрузки, избегая перегрузки источников и соблюдая бизнес-ограничения по времени доступности;
• Визуализация и BI: Разрабатывать интерактивные дашборды и кастомизированные отчёты в Superset (работа с датасетами, виртуальными запросами, настройка Row Level Security);
• Автоматизация интеграций: Использовать n8n для построения быстрых конвейеров по сбору данных из внешних API-сервисов, также для предоставления данных для внешних сервисов там, где использование тяжеловесного Airflow избыточно;
• Оптимизация: Анализировать планы выполнения запросов, проектировать индексы, партиционирование и шардирование в Postgres для ускорения работы витрин и отчётов;
• Управление дискретностью обновлений: Проектировать механизмы отслеживания изменений (флаги, триггеры, CDC) и настраивать инкрементальные загрузки с контролем целостности данных при пропусках или сбоях.
Ключевые требования:
• Опыт коммерческой разработки на PostgreSQL (написание сложных оконных функций, CTE, хранимых процедур/функций) — от 2 лет;
• Реальный опыт построения и поддержки пайплайнов в Apache Airflow (понимание устройства XCom, пулов, сенсоров, настройка подключений) с учётом разных частот обновления (дискретности) для различных источников;
• Уверенное владение Superset (создание дашбордов с нуля, работа с временными рядами, фильтрацией и кастомными SQL-запросами внутри датасетов);
• Практическое использование n8n (настройка входящих вебхуков, работа с HTTP-нодами, обработка JSON/XML, ветвление логики);
• Опыт интеграции с 1С: понимание структуры типовых конфигураций, умение выгружать данные; знание особенностей работы с регистрами и документами 1С;
• Понимание архитектуры DWH (схема "Звезда", "Снежинка", типы медленно меняющихся измерений — SCD Type 1/2) и умение применять их для данных из 1С;
• Опыт настройки дискретного (инкрементального) обновления — использование срезов по дате/времени, порядковых номеров, флагов изменений, обработка отложенных или повторных загрузок.
Будет плюсом:
• Опыт комбинирования Airflow и n8n в рамках одной архитектуры;
• Знание Python (для написания кастомных операторов Airflow и вспомогательных скриптов для предобработки данных из 1С);
• Навыки администрирования баз данных (мониторинг, бэкапы, восстановление);
• Опыт работы с объёмами данных от 1 млн+ строк в сутки, в том числе из 1С с большим количеством справочной информации;
• Опыт работы с CDC-решениями для 1С или других источников;
• Понимание бухгалтерских и управленческих учётных процессов.
Условия:
• Официальное трудоустройство по ТК РФ;
• Работа в крупной, надежной компании;
• Достойная оплата труда (по итогам собеседования);
• Современный благоустроенный офис;
• Поддержка в период адаптации;
• Корпоративный транспорт;
• График работы: 5/2;
• Финансовая поддержка от компании в различных жизненных ситуациях;
• Место работы: Вольский тракт, 14.
