ИТ для чемпионов

Строительство в Донецке стадиона «Донбасс Арена» несколько лет назад было признано одним из наиболее сложных и интересных ИТ-проектов на Украине. Резкое обострение политической и экономической ситуации, повлекшее за собой военные действия, внесло изменения и в схему управления одного из самых современных спортивных объектов не только Украины, но и всей Восточной Европы. И здесь также не обошлось без помощи ИТ. Об этом нам рассказал Дмитрий Тепляков, директор по информационным технологиям «Донбасс Арены».

С чего начинался проект по строительству стадиона «Донбасс Арена»?

«Донбасс Арена» и футбольный клуб «Шахтер» – это по сути одна и та же организация. Все началось в 2003 году, когда я пришел в «Шахтер» на должность системного администратора. Клуб тогда был небольшой и не имел собственной инфраструктуры. Но, двигаясь вперед, руководство пришло к решению привлечь сторонних консультантов с целью проработки программы дальнейшего развития. В результате и был создан ИТ-отдел, который сразу развернул активную работу. Вскоре клуб понял, что ему необходим свой собственный стадион, а значит, и дальнейшая модернизация. И мне, к тому времени уже начальнику ИТ-отдела, предложили возглавить проект по созданию ИТ-инфраструктуры. Строители стадиона возводили «коробку» и прокладывали инженерные коммуникации – электрику, вентиляцию и т. д., а все, что касается информационных систем, мы проектировали сами, с нуля. Причем старались внедрить все самое современное с технологической точки зрения, а поскольку систем было довольно много, то сразу же начали прорабатывать вопрос с организацией техподдержки. Традиционно так сложилось, что айтишники выступают в роли пионеров. На нас обкатываются все новые процессы, и если обкатка проходит удачно, то их переносят уже на другие отделы. Так получилось и с проектом по внутренним сервисам. Понятно, что на этом этапе пока еще не использовалось никаких ITIL-рекомендаций, но мы уже сделали так, чтобы все обращения поступали в единую точку и в обязательном порядке фиксировались. Затем проработали все вопросы по ITIL, составили SLA, установили процедуры, системы учета.

Интересно, какую систему внедрили первой?

IBM Tivoli – она предназначалась исключительно для приема заявок. На этой системе мы проработали год-полтора. Параллельно шел проект по внедрению CRM на базе платформы Microsoft Dynamics, поэтому у нас в команде были как специалисты по поддержке Microsoft, так и занимающиеся IBM Tivoli. Шел 2009 год. Поскольку одновременно внедрялось несколько систем, не всегда тщательно прорабатывались вопросы стыковки. Некоторые функции дублировались. Когда мы проанализировали полученный функционал, оказалось, что в составе CRM-системы имеется модуль HelpDesk, отвечающий за прием и обработку обращений. Но, когда уже начали работать с болельщиками, выявился некий пробел – мы уяснили, как работать с обращениями наших внутренних сотрудников, но не могли понять, как фиксировать претензии клиентов. А вопросы контроля качества стояли очень жестко, был даже специальный отдел, который занимался мониторингом этой работы. Проанализировав обе системы, мы поняли, что использовать одну для работы с клиентами, а другую для учета обращений не совсем выгодно с точки зрения обслуживания и обмена информацией. Поэтому просмотрели всю цепочку обращения человека к нам и полностью отразили все это в CRM. Сегодня у нас есть точки контакта для внешних пользователей: сайт, электронная почта, колл-центр, внутренняя диспетчерская служба – и все эти процессы переведены на CRM. Помимо чисто айтишных, возникали вопросы инженерно-бытового плана, а также связанные с физической безопасностью. Поскольку у нас уже имелись наработки, мы совместно с руководителями соответствующих подразделений разработали классификаторы обращений, SLA и создали единую диспетчерскую службу. До этого у нас было разделение диспетчеров на айтишных и технических, но мы их объединили: работая в режиме 24/7, они стали для всех единой точкой контакта. Что бы ни случилось у человека, он звонил в эту службу. Если проблему нельзя было решить удаленно, диспетчер обращался к соответствующему специалисту, который и устранял неполадку. Но теперь потребовалось проработать другой вопрос – закрытия заявки. Инженер должен был сообщить диспетчеру, что неполадка устранена. Для айтишника это просто: зашел в систему и закрыл. Но как быть с механиками или электриками? Для них мы разработали механизм дистанционного закрытия. Специалист по рации сообщает диспетчеру, и тот фиксирует факт исполнения, отмечая, кто из сотрудников выполнил данную заявку. Может, это и не по стандарту, однако позволяет следить, кто и чем занят. В дальнейшем мы добавили в систему заявок «приоритетность»: важность и срочность, уведомления, согласования и т. д. В итоге получилось очень мощное решение, которое получило высокую оценку ИТ-сообщества на портале Global CIO.

Какие еще ИТ-решения внедрены на стадионе?

Когда наш стадион строился, он уже позиционировался как первый в Восточной Европе бизнес-объект. На Западе это в порядке вещей, а у нас в СНГ пока еще в новинку. У нас обычно стадион – это место проведения футбольных матчей, но в нашем случае была поставлена задача относиться к этому как к бизнесу. Понятно, что играть будет своя команда, но нужно еще и деньги зарабатывать. Как это можно делать? Предоставлять различные сервисы и сокращать свои затраты. К примеру, мы сразу внедрили систему безналичной оплаты, поскольку это позволяет ускорить продажи. Ведь любое мероприятие на стадионе ограничено по времени, поэтому большой наплыв покупателей происходит в короткий период. А значит, чем быстрее мы сможем каждого из них обслужить, тем выше будут наши продажи. Поэтому мы сразу внедрили систему оплаты по карточкам, ввели единый стандарт – RFID-карты со встроенной памятью. Эта карта используется для всех наших сервисов: к примеру, человек приобретает абонемент, и она служит ему не только пропуском на стадион, но и кошельком. Дело в том, что память на карте разделена на 15 ячеек. Каждая из систем хранит информацию в одной из этих ячеек. Когда нужно было организовать VIP-парковку, мы убедились, что поставщик поддерживает работу с такими картами. Электронные замки на стадионе тоже открываются с помощью этой карты. Сама по себе система ничего уникального не представляет, но вот эта интеграция систем, открывающая доступ к множеству сервисов с помощью единой карты, – уникальное решение. Потом по нашему примеру подобные проекты внедрялись в Киеве и Львове. Правда, в последнем не была сделана интеграция общепита, а в Киеве – интеграция парковки.

Сохранялась ли при этом традиционная наличная форма оплаты?

Наличные и кредитные карточки остались только там, где речь шла о больших суммах – это рестораны и VIP-зоны. Билет купить за наличные также можно, а вот расплатиться в фастфуде уже не получится. Таким образом, минимизируется целый ряд рисков, неизбежно сопровождающих работу с наличными деньгами, а также сокращается время получения товара. Когда проходил чемпионат Европы по футболу 2012 года, организаторы действовали по своему стандарту: отказались от наших карт и ввели наличную оплату. То есть система осталась нашей, просто выключили безналичный метод. Мы при этом могли визуально наблюдать, насколько медленнее работает процесс оплаты – ведь люди приезжают с валютой, с крупными купюрами… С картами же все намного быстрее. В дальнейшем мы доработали возможность пополнения баланса карт через Интернет.

Как происходит активация таких карт?

Не сложнее, чем у SIM-карт мобильных телефонов. Нужно просто один раз пополнить баланс карты через кассу. Дальше можно действовать через Интернет.

Что дало использование безналичных карт, помимо минимизации рисков и увеличения скорости оплаты?

Нам очень важно знать своего клиента, посетителя стадиона, персонифицировать его. Поэтому, когда прошла отладка основных систем, мы ввели программу лояльности. Если вы, к примеру, являетесь держателем абонемента, то получаете скидку в фастфуде. Вам выгоднее оплачивать заказ с помощью абонемента, чем с помощью разовой карточки, которая продается тут же на стадионе. Есть еще и фан-карта, которая не закрепляет за вами место на стадионе, однако позволяет пользоваться программами лояльности и тоже получать скидки. Скажем, по абонементу вы получаете 10%-ную скидку в фастфуде, а по фан-карте – 7%-ную. И таких карт у нас было выпущено примерно 300 тысяч.

Как работает стадион в периоды между матчами?

Поскольку, как я уже говорил, стадион позиционируется как бизнес-объект, здесь, помимо футбольных матчей, проводятся различные мероприятия – от концертов и фестивалей до боксерских поединков. Уже в первый сезон мы полностью компенсировали все свои затраты в основном за счет проведения концертов. Вообще, в нашем городе довольно сложно найти площадку, где можно было бы разместить большое количество участников. А на нашем стадионе семь ресторанов вместимостью в 500 человек. В частности, когда один из банков проводил свою конференцию, туда съехались приглашенные со всей страны: в одном ресторане шел один доклад, в другом ресторане – другой. А после этого на нашем же поле проходил товарищеский футбольный матч между их филиалами.

Насколько мне известно, на вашем стадионе развернута и сеть Wi-Fi с большим количеством точек доступа – она предназначена для всех?

Прежде всего эта сеть предназначается для прессы, поскольку по регламенту мы обязаны предоставить журналистам качественный скоростной Интернет. Кроме того, ею пользуются наши сотрудники и VIP-гости. Обычным посетителям Wi-Fi тоже доступен, если они владеют абонементами. То есть система не рассчитана на 100% посетителей стадиона. Замечу также, что у футбольных менеджеров двоякое отношение к Wi-Fi на стадионе. Одни считают, что зрители должны иметь возможность публиковать что-то в соцсетях по ходу матча, другие же, наоборот, что на стадионе нужно болеть и выражать эмоции, а посидеть в Сети можно и дома. Сейчас продаются не товар или услуги, а эмоции, которых никакая социальная сеть не заменит. Когда стадион еще строился, была внедрена система интерактивного управления объектом. Все датчики и контроллеры работали через IP-сеть. О каких датчиках идет речь? Поскольку наш стадион расположен в специфической местности, он снабжен датчиками контроля поверхности, деформации, просадки и т. д. Все эти данные поступают в диспетчерский центр, а также в геодезический институт, который нас мониторит. Таким же образом управляется и само футбольное поле, что подразумевает автоматический подогрев, полив и включение вентиляции.

А как реализована система информационной безопасности?

На нашем стадионе установлены внешние межсетевые экраны, а внутренние расположены между дата-центром и общей сетью. В точках выхода во «внешний мир» работают системы обнаружения вторжений – это продукт MARS компании Cisco. Кроме того, мы используем продукты Microsoft для обеспечения информационной безопасности. Есть и система Websense DLP для защиты от утечек.

За информационную безопасность отвечаете тоже вы?

Да. У нас матричная структура и мы работаем параллельно со службой безопасности. Создан совет по информационной безопасности, куда, помимо меня, входят директор стадиона, финансовый директор и служба физической безопасности. Здесь формируются регламенты и политики, а под них – комплекс задач для каждого из подразделений.

Какова структура ИТ-департамента?

Он состоит из четырех отделов. Первый отвечает за техническую поддержку, здесь работают диспетчеры и инженеры. Второй отвечает за администрирование – обеспечивает работоспособность тех или иных систем. Если у пользователя возникает проблема, истоки которой лежат на стороне сервера, к примеру не работает электронная почта, то диспетчер присылает заявку инженеру, который отвечает за почтовый сервер. Третий отдел занимается программированием финансовых систем. Весь документооборот, складской и кадровый учет реализованы на платформе «1С:Предприятие 8.2». Мы купили типовые конфигурации, и их доработкой занимаются уже наши программисты. Четвертый отдел специализируется на Интернете и медиа. В его компетенции сайт и всё, что касается онлайн-сервисов: онлайновая продажа билетов и сайт, интернет-магазин клубной атрибутики. Все это поддерживают наши веб-мастера и веб-разработчики. Всего же под моим руководством 25 человек.

Чем сегодня заняты ваши сотрудники – ведь стадион в Донецке не функционирует?

Да, мы сейчас проводим футбольные матчи в другом месте, но там осталась наша инфраструктура, дата-центр, офисные помещения. Все это продолжает работать, а люди подключаются удаленно. Главный офис находится в Донецке, есть офис в Киеве, где размещается наше руководство, а мы в данный момент работаем во Львове, где арендуем стадион. Организовали прямые каналы связи и развернули VPN-туннели. Сейчас в нашем распоряжении единая сеть, объединяющая три города. К примеру, наша телефонная станция находится в Донецке, а телефонные аппараты стоят в Киеве и Львове. Я могу позвонить сотруднику в Киев по внутреннему номеру. Разумеется, что-то пока не работает, например сервис безналичной оплаты. Но все основные услуги действуют. У каждого из наших инженеров две-три специализации, так что все заняты в прежнем режиме. В настоящее время на территории стадиона в Донецке размещается штаб по распределению гуманитарной помощи: здесь все расфасовывается и затем развозится по точкам. В каждой точке стоят люди, которые занимаются учетом выдачи, работает база данных, а наша задача – все это обслуживать. Поэтому основная часть наших специалистов по техподдержке находится в Донецке и только один человек со мной во Львове.

Насколько широко вы используете облачные сервисы для управления всей инфраструктурой?

Еще два года назад к нам приходили из Microsoft и призывали переходить на облака. На тот момент мы не видели в этом особого смысла, поскольку все сервисы были завязаны на стадион: это два разнесенных физически дата-центра, зеркалирование основных сервисов и ряд других процессов, требуемых стандартами. Но когда весной начались всем известные события, мы начали работать над вариантами. За безопасность дата-центра «Донбасс-Арены» я не беспокоюсь, поскольку он находится глубоко под землей и хорошо защищен от физического разрушения. Но нельзя исключать фактор несанкционированного доступа, сбоя интернет-каналов и электропитания. Поэтому нам надо было решить задачу обеспечения бесперебойной работы всех бизнес-сервисов. Благо наработки, связанные с Microsoft Azure и Office 365, уже были, и мы в течение двух месяцев запустили гибридное решение. Почта у нас интегрирована с Office 365, все бизнес-пользователи работают в облаке, однако ряд технических почтовых аккаунтов находится на «земле». Такую же гибридную инфраструктуру сделали и для данных. Облако на базе Microsoft Azure – по сути, наш выносной дата-центр: там расположен резервный контроллер домена, содержатся копии документов. С помощью распределенной файловой системы реализовано зеркалирование всех документов в облако. Туда же перенесли и все финансовые и учетные системы. Так что теперь наша бухгалтерия работает в облаке и пользуется зеркалированными копиями документов. Что же касается тех сервисов, которые не могут работать в облаке, то мы заливаем в облако их резервные копии. Доступ же в облако организовали с помощью терминальных серверов. Человек подключается к виртуальному рабочему пространству, где видит ярлыки нужных ему приложений, сетевые диски и все остальные ресурсы, с которыми привык работать. Причем неважно, с какого устройства он заходит в облако.

Готовы ли вы полностью все процессы перевести в облако?

Оборудование мы уже не сможем вывезти из Донецка. Сейчас облако для нас – это аварийный режим работы, резервная площадка, обеспечивающая катастрофоустойчивость. В любом случае нам нужны дата-центры, поскольку, например, сервис безналичной оплаты билетов мы не планируем переносить в облако, так как задержки транзакций будут очень большими. Такая же ситуация с системой управления турникетами: когда через них проходит большое количество людей, время обращения к базе данных должно быть минимальным. В то же время электронная почта в облаке работает очень хорошо.

В России ИТ-директора оказались в сложной ситуации в связи с резким обесцениванием рубля. На Украине аналогичная проблема с гривной – как вы ее решаете?

Пришлось урезать практически все проекты по развитию. Планировали развивать онлайн-сервисы, запускать мобильные приложения, но все это как минимум приостановлено. Урезали лицензии на ПО, которые собирались приобретать, оставив только жизненно необходимые. Тот же Office 365 для нас – вопрос выживания в буквальном смысле. Можно было бы вообще ничего не покупать, а довольствоваться уже имеющимися программными средствами и работать с дата-центром в Донецке. Но при этом пропажа связи влекла бы остановку всей работы, и этот риск слишком велик. В Microsoft пошли нам навстречу и дали возможность полноценно использовать Office 365 в течение нескольких месяцев, пока не решим вопрос с приобретением. Но других вариантов экономии, кроме сокращения проектов, у нас, к сожалению, нет. Ведь не только Microsoft, но и локальные украинские провайдеры привязаны к курсу доллара, и как только он вырос, у них тут же поднялись цены.

И последний вопрос. Вы ведете блог – много ли у него читателей и кто они?

Читателей немного. Я начинал заниматься этим еще года два-три назад, потом забросил, потом опять вернулся. Говорят, если хочешь чему-то научиться, попробуй научить этому кого-то другого. Блог позволяет систематизировать информацию прежде всего лично для себя. Вот я и занялся изучением имеющихся на рынке облачных сервисов, мне это было интересно и понятно. Но когда начинаешь излагать свои знания кому-то, то понимаешь, что что-то упустил, где-то не до конца разобрался. Так что, повторяю, в первую очередь блог нужен мне самому – как конспект. К примеру, меня заинтересовал анализ производительности виртуальных машин, и я запустил сравнительное тестирование, результаты которого описал в блоге. Очень возможно, кому-то они будут полезны. То есть блог – это еще и отражение того или иного практического опыта. Не могу сказать, что наблюдаю серьезную обратную связь со стороны читателей, но ИТ-компании, в частности та же Microsoft, читают мой блог и реагируют на критику и предложения.