PickPoint расскажет и о своем опыте работы с облачными сервисами, и о пятилетней эксплуатации облака в модели IaaS.
Идея проекта
Идея проекта зародилась, когда мы обсуждали нюансы интернет-торговли в России, ее перспективы и препятствия на пути к светлому будущему. Если верить разным исследованиям и наблюдениям, то покупатель в основной своей массе дозрел до дистанционных покупок, но через некоторые останавливающие факторы перешагнуть не может:
- Самым предпочтительным способом оплаты в нашей стране по-прежнему остаются наличные.
- Нет дешевой и надежной доставки. Курьерские службы могут доставить все быстро, но стоимость их услуг часто сопоставима с ценой товара. А более дешевой и привычной почте люди не готовы доверять дорогостоящие посылки – долго ждать и есть риск уте
Если отбросить момент оплаты, то проблемным остается момент доставки: клиенты вынуждены выбирать между «дорого» и «ненадежно». Мы же хотели предложить разумную альтернативу, которая сочетала бы в себе преимущества обоих подходов. Так родилась идея постаматов.
Постамат – это специальный платежный терминал с автоматизированными ячейками хранения отправлений, из которых клиент сам забирает купленные товары – в удобном месте и в удобное время.
Первый немецкий опыт внедрения сети постаматов
Чтобы к постамату не приходилось специально ездить, теряя на этом время, мы решили размещать устройства на пути пользователя из дома и к дому. А какие места мы посещаем с завидной регулярностью? Правильно, магазины. Или торговые центры, если речь идет о крупных городах. Поэтому основным плацдармом были выбраны торговые комплексы средней ценовой категории – в них всегда есть пара неинтересных для коммерсантов мест, куда вполне можно поставить постамат за скромную арендную плату.
Зарубежный опыт и российские реалии
Заказывая доставку посылки в ближайший постамат, покупатель может зайти за ним в любое удобное время по пути домой. Процесс полностью автоматизирован, что исключает образование очередей из-за отсутствующего оператора, непунктуального курьера или «сломавшегося компьютера». Мы верим, что полная автоматизация для нашей страны – один из реально работающих способов избежать очередей, образующихся из-за нерадивости персонала почты, банка и других учреждений массового обслуживания.
Строго говоря, сама идея автоматизированных пунктов выдачи не нова – в Европе подобные системы применяются довольно давно. Естественно, мы решили обратиться к зарубежному опыту и оборудованию. В ходе исследования мирового рынка мы остановились на Эстонии и их сети автоматической выдачи посылок. Постаматы были довольно простыми и надежными, да и сложной инфраструктуры не требовалось. Так что закупили пару штук и начали работу по локализации.
Постаматы DHL
Как оказалось, локализация в нашем случае не ограничится русским языком и валютами. Вы же помните два препятствия дистанционной торговли из начала статьи? Да, верно, оплата наличными. Дело в том, что для Европы это уже анахронизм и все автоматы работают почти исключительно с карточками. Пришлось добавлять блок приема банкнот, приживлять все это к ПО и стесывать неровности.
Техническая сторона и размещение инфраструктуры в облаке
Основа всей системы (да и идеи тоже) – постаматы. То есть блок ячеек с небольшим ПК, маршрутизатором и специальным контроллером внутри. За логику отвечает ПК под управлением Windows Embedded, а открывает ячейки отдельный контроллер. Еще добавлен приемник купюр, чтобы консервативные наши соотечественники чувствовали себя комфортно.
Каждый постамат соединяется с процессинговым центром (серверы приложений) через VPN-соединение. Весь процессинг полностью онлайновый, поэтому стабильность WAN-подключения имеет важное значение. На сервере приложений происходит обработка запросов, проверка заказов и оплаты, дается «добро» на выдачу.
Как вы уже поняли, на серверный бэкэнд возлагается большая ответственность. Здесь важна и постоянная доступность серверов IIS и базы данных, и высокая производительность. К слову, самым «прожорливым» элементом у нас является база. Например, сейчас ее загрузка по дисковой системе нередко достигает 3000 IOPS.
Наш офисный «узел связи с облаком»
Когда все начиналось, серверное железо в целях экономии было заемным. Но мы быстро уперлись в потолок его возможностей, да и рост нагрузки был труднопредсказуемым ввиду новизны идеи на отечественном рынке. Намаявшись с постоянным апгрейдом железа, решили не переливать из пустого в порожнее и обратились к облачным технологиям. Знакомые посоветовали несколько вменяемых облачных провайдеров, и выбор пал на «ИТ-ГРАД». Про сам процесс переноса даже писать особенно нечего – IaaS тем и хорош, что можно переехать «как есть».
Постаматы множатся, ползунки двигаются
Первый автомат мы установили в 2010 году, а через пару лет их стало уже 115! Для нас это серьезный скачок, который расшевелил не только бизнес-процессы, но и инфраструктуру ИТ. В момент бурного роста в полной мере оценили плюсы облака – для нас это в первую очередь гибкое масштабирование. Даже когда нельзя предсказать прирост нагрузки и накупить про запас, вы всегда можете по мере необходимости «наращивать мышцы» виртуальных систем в пару кликов.
Выдача посылки после оплаты
Сейчас уже 500 постаматов по всей стране радуют россиян быстрой и дешевой доставкой. Чтобы их радость не омрачалась всякими подвисаниями и «извините, приходите завтра», последние годы мы серьезно поработали над доступностью систем. Cерверов приложений с IIS стало два, и работают они в кластере с внешним балансировщиком. Сервер БД резервируется бэкапами и vSphere HA, а WAN-подключения теперь дублируются.
Практически вся серверная инфраструктура работает на Windows с веб-службами IIS. Мы стараемся поддерживать актуальные версии, и сейчас практически все службы работают на Windows 2012. На схему не попали некоторые вспомогательные сервисы вроде системы мониторинга – это исключение из идиллии Microsoft. Исторически многие из этих систем работают на Linux и FreeBSD, но при апгрейде мы переводим их на Windows ввиду курса компании по переходу на ПО Microsoft.
О каналах и интернет-провайдерах в торговых центрах
Обычно в таких статьях рассказывают про сложности на тернистом пути к славе. В рамках Хабра обычно подразумеваются технические сложности – сейчас это модно называть «кейсами». За все время существования компании я не могу вспомнить ни одного серьезного кейса, кроме совсем уж базовых вещей вроде несовместимости версии ОС серверов PickPoint с vSphere и пары небольших DdoS-атак. Да-да, теневая конкуренция и тут дала о себе знать, но не особенно активно – клиенты никаких проблем не заметили.
Дата-центр Dataspace, где размещается облачная IaaS-платформа «ИТ-ГРАД» в Москве
Зато был нюанс архитектурно-экономического плана. Дело в том, что офис компании размещается в Москве, а ядро постаматов (веб-серверы приложений и база) – в Петербурге. Так сложилось исторически, и со временем эта схема стала причинять некоторые неудобства. Если вкратце, то нам понадобился более широкий канал из офиса в облако, а на таких расстояниях это выливалось в космические деньги. Погоревали, да и отложили было проект.
Выручил «ИТ-ГРАД», как раз запустивший облако в московском дата-центре и предложивший выгодные условия подключения широкого канала от офиса PickPoint до ЦОД облака. В итоге мы приняли решение в рамках IaaS «ИТ-ГРАД» мигрировать инфраструктуру в московский дата-центр. С миграцией вопрос был неочевидный, так как разных механизмов у VMware много, но у каждого есть свои плюсы и минусы. С учетом среднего объема VM ~100 Гб и возможности останавливать системы на ночь, мы решили, что оптимальным вариантом будет максимально простой перенос через резервные копии и vCloud Connector. Так как мигрировала не только инфраструктура постаматов, но и наши офисные сервисы (почта, Active Directory и т. п.), то за раз получалось корректно разобраться только с одним сервером. Большее же их число не укладывалось в ночное «окно».
vCloudConnector – инструмент VMware для организации гибридного облака и автоматизированного переноса виртуальных машин между различными дата-центрами и облаками. Подробнее о нем можно узнать из статьи «vCloud Connector: гибридное облако на практике».
Через бэкап и восстановление переносились в основном большие VM с виртуальными дисками около 1 Тб. Все остальные были отданы в руки vCloud Connector Copy. Опция позволяет автоматизировать перенос vApp с машинами между несколькими облачными системами. Технически же это автоматический экспорт с последующим импортом данных. Времени на процесс ушло относительно немного – около часа на среднюю машину объемом в 100 Гб.
С быстрым каналом «офис – облако» планы по перестройке внутренней инфраструктуры двинулись дальше, а мы решили улучшить заодно и «последнюю милю». К тому моменту мы и без того не могли особо жаловаться на доступность автоматов, да и от клиентов негатива не было. Но внутренний перфекционист требовал внедрить отказоустойчивость и здесь. Так началась задача по дублированию каналов WAN до постаматов. Но все оказалось не так просто. Как вы помните, мы стараемся устанавливать постаматы в посещаемых местах – торговых центрах. Поток людей там огромный, потому размещение себя полностью окупает.
Размещение постаматов в непопулярных у других арендаторов местах позволяет серьезно экономить на аренде. Ниже расходы – дешевле доставка.
Но из большого потока вытекает и минус – все беспроводные каналы там забиты под завязку, а дополнительного «проводного» провайдера в торговый центр провести непросто. Потому 3G-модемы стоят лишь в критичных точках, где поток клиентов стабильно высок и при этом есть техническая возможность подключить нормальный беспроводной канал. Устанавливать модемы везде нецелесообразно, так как сотовый сигнал зачастую настолько плох, что нормального резервирования не получается. Поэтому зарезервированы наиболее узкие места с большей вероятностью отказа интернет-соединения, а остальные активно мониторятся через ZABBIX.
Технические тенденции: VDI, DDoS и безопасность
Сейчас активно кипит работа по оптимизации БД и переводу ее на SQL-2014. Это не только позволит нам идти в ногу со временем, но и повысит производительность СУБД и позволит зарезервировать еще и этот элемент. На фоне этого у руководства возрос интерес к DRS-решениям. Как вы помните, сейчас вопрос закрывается банальными бэкапами, но хочется найти полноценный и максимально автоматизированный метод. Пока что склоняемся к классической модели резервной площадки на базе облака vSphere, но тут возможны варианты.
Еще собираемся экспериментировать с тонкими клиентами и VDI на операторских местах. Сейчас у нас есть несколько сортировочных центров с работой 247, и простой одного рабочего места легко может вылиться в 2000 необработанных посылок за ночь. Для минимизации подобных ЧП на площадках работают ночные инженеры, но такое решение спорно в плане затрат. Поэтому есть мысль перенести все рабочие места в облако, а «в полях» оставить только тонкие клиенты, в которых ломаться нечему (а если и сломается, то ремонт не сложнее, чем замена картриджа в принтере). В качестве конкретного продукта рассматриваем CITRIX XenDesktop, экспериментируем и пробуем с этим работать. Безусловно, интересный вариант.
По мере роста бизнеса наблюдаем все больший интерес со стороны недобросовестных конкурентов – возрастает частота DdoS-атак. Тут весьма кстати «ИТ-ГРАД» предложил воспользоваться услугой защиты от DDoS, но пока смотрим в тестовом режиме.
Коллеги по цеху часто интересуются, не страшно ли хранить данные в облаке. И их можно понять: СМИ не устают нагнетать негатив рассказами о взломе очередного облака. Лично я ситуацию вижу так: есть высокая вероятность утечки данных изнутри (халатность, к примеру) и гипотетическая угроза из Сети. Все почему-то фокусируются именно на интернет-угрозах, не замечая огромной бреши в виде человеческого фактора. А между тем бизнес облачного провайдера может развалиться из-за одного такого инцидента, так что вопросы безопасности у них поставлены серьезнее большинства крупные «традиционных» корпораций. Так, может, боящиеся просто не туда смотрят?
Самое главное уже известно: проект PickPoint себя оправдал и инвестиции постепенно окупаются. Компания из стартапа превратилась в лидера рынка автоматизированных пунктов выдачи. А пять лет успешного использования облачных технологий показали, что принятое когда-то рискованное решение перенести всю инфраструктуру в облако IaaS было правильным.
Материал для подготовки кейса предоставил:
Алексей Воронков, директор по эксплуатации и поддержке инфраструктуры
