Сколько стоит открыть дата центр?

Андрей ПАВЛОВ&nbsp Дмитрий БАСИСТЫЙ&nbsp Дмитрий КУСАКИН&nbsp 31 июля 2012

Принимая решение о создании ЦОДа, необходимо четко представлять себе перспективы спроса на его услуги. Понимание того, для каких целей предназначается дата-центр, имеет ключевое значение при разработке его экономической модели и обосновании инвестиций.

Количество коммерческих ЦОДов в Москве и Московской области уже перевалило за сотню, причем за последние полтора года общая площадь дата-центров выросла в два раза. По мнению специалистов, рынок перестал стагнировать и развивается ускоренными темпами. Постепенно появляется спрос на услуги ЦОДов уровня надежности Tier III–IV со стороны корпоративного сегмента, включая банковский и государственный секторы.

Однако многие дата-центры, позиционирующие себя как ЦОДы уровня Tier III и выше, на деле таковыми не являются. К сожалению, формирование предложения услуг с учетом подобных «условно Tier III–IV» объектов искажает реальную картину рынка.

ФАКТЫ И ЦИФРЫ

По оценкам Datacenter Dynamics, российский рынок ЦОДов по размеру инвестиций в 2011–2012 гг. обгоняет Индию, Китай и Бразилию. По показателю роста площадей за тот же период среди стран BRICS Россия уступает только Бразилии.

В рамках исследования состояния российского рынка коммерческих дата-центров, проведенного аналитическим центром Headwork Analytics, были опрошены представители 203 российских компаний, годовая выручка которых превышает 1 млрд руб., а центральный офис располагается в московском регионе. Согласно результатам исследования, коммерческие дата-центры сконцентрированы в столице: в Москве и Подмосковье находится 60% таких ЦОДов, на Санкт-Петербурге приходится 15% рынка, 25% — на остальные регионы.

Большинство маркетинговых исследований не учитывают этих особенностей и оперируют данными, полученными от владельцев ЦОДов. Но не все владельцы готовы предоставлять реальную информацию о стоимости строительства, сообщать подробности технических решений, и многие, безусловно, пытаются скрыть недостатки и их возможные последствия.

По масштабам российский рынок ЦОДов пока нельзя сравнивать с западным. Совокупная площадь крупнейшего в стране московского рынка — а это 98 коммерческих дата-центров с числом стоек 9331 — составляет 26 тыс. кв. м. Это меньше площади одного крупного американского ЦОДа — SuperNAP*.

Таким образом, рынок еще очень мал, нет сформированных локальных законов, правил, отсутствует статистика. Принципы же развития услуг ЦОДов в Европе нельзя переносить на нашу почву без поправок.

К тому же все проводимые исследования рынка – это исследования предложений. В отчетах аналитических агентств можно найти такие данные, как цена за стойку, параметры ЦОДа, объемы продаж, динамика заполняемости, объем рынка/доля, стоимость продажи услуг и т.д. Но компетентные маркетинговые исследования спроса практически отсутствуют: нет анализа по секторам потребления услуг – банки, государство, производственные компании, телеком, транспорт и т.д., анализа требований клиентов, ожидаемой цены услуг, прогноза объемов потребления услуг ЦОДов на ближайшую перспективу. Однако понимание перспектив спроса на предлагаемую услугу в период от двух лет, от разработки бизнес-плана до сдачи объекта в эксплуатацию, совершенно необходимо при принятии решения о строительстве ЦОДа. В этой ситуации особую важность приобретает разработка бизнес-плана его создания.

Бизнес-план и бизнес-задачи

Обычно разработка бизнес-плана начинается с определения основной бизнес-задачи будущего ЦОДа. Понимание того, для каких именно целей предназначается создаваемый объект, имеет ключевое значение при подготовке экономической модели и обосновании инвестиций.

Можно выделить следующие модели бизнеса:

• корпоративные ЦОДы, обслуживающие только собственные потребности и внутренних корпоративных заказчиков;

• коммерческие ЦОДы, предоставляющие универсальные услуги аренды площадей под серверные мощности, аренды серверного оборудования со всей необходимой инфраструктурой, а также сопутствующие услуги;

• ЦОДы со смешанной структурой услуг (обслуживающие как внутренних, так и внешних заказчиков).

В первой модели основным целевым показателем будет сокращение операционных затрат на сопровождение инфраструктуры корпоративного ЦОДа. Например, Сбербанк РФ в случае консолидации вычислительных ресурсов по всей территории России планировал экономить около $100 млн в год, что может стать ключевым фактором при принятии решения о создании консолидированного ЦОДа. Собственно, это и произошло: в ноябре прошлого года банк торжественно открыл МегаЦОД в Москве в районе Южного порта, инвестиции в который составили около $1,5 млрд. Окупить проект планируется в течение 2–3 лет.

Вторая модель должна полностью учитывать текущую и перспективную картину спроса и предложения на рынке услуг ЦОДов, она требует понимания того, кто будет клиентом ЦОДа, какие объемы и кому можно будет предложить, будет ли предложение иметь какие-либо ключевые дифференциаторы на рынке услуг, почему целевой клиент должен выбрать именно ваш ЦОД.

Например, компания DataSpace Partners, создавая совместно с HP в Москве ЦОД, сертифицированный по уровню Tier III, сразу выбирала сегмент спроса, ориентированного на надежную инфраструктуру и высокую отказоустойчивость при достаточно высокой цене услуг. ЦОД DataSpace первым в России прошел сертификацию Tier III Facility (реализованных решений) и может считаться самым надежным в стране. Однако стоимость размещения оборудования в этом ЦОДе значительно выше среднерыночной. Владельцы рассчитывают, что клиентами центра станут финансовые и промышленные структуры.

Третья модель имеет по сравнению со второй положительный фактор в виде некоторого демпфера – гарантированного потока внутренних клиентов. Однако учет потребностей широкого спектра клиентов предполагает достаточно дифференцированный подход к инфраструктуре ЦОДа, что обязательно должно быть учтено при подготовке технического задания и проектировании. В качестве примера можно упомянуть оператора «МегаФон», который уже реализует программу модернизации и создания новых ЦОДов по всей стране, как для собственных нужд, так и для предоставления коммерческих услуг своим клиентам.

Все три модели характеризуются своим подходом к обоснованию инвестиций и необходимым набором средств для подготовки бизнес-плана.

Обоснование инвестиций

Модель 1: ЦОД для собственных нужд. Ключевым показателем при формировании экономической модели обоснования инвестиций в данном случае будет экономия за счет сокращения затрат на тот или иной бизнес-процесс, который после создания ЦОДа станет более эффективным. Для оценки эффективности могут служить такие показатели, как увеличение скорости обслуживания запросов клиентов, уменьшение времени простоя и, как следствие, минимизация убытков от остановки производственных процессов, сокращение операционных расходов, экономия от консолидации инфраструктуры и т.п.

Бизнес-кейс готовится по стандартной модели c описанием текущей ситуации и текущих затрат и оценкой целевой модели и ее финансовой составляющей. Таким образом, важнейшим моментом является детальность проработки модели, ее согласование с общей стратегией развития организации, стратегией развития ИТ, программой реализации смежных проектов внутри организации. Детально проработанный бизнес-план становится базой для подготовки технического задания и разработки концептуального проекта ЦОДа.

Принятие решения о финансировании и реализации бизнес-плана во многом зависит от готовности менеджмента инвестировать в прогресс компании. В данном случае обязательно наличие спонсора проекта внутри организации.

Модель 2: коммерческий ЦОД с универсальными услугами. Коммерческие ЦОДы обслуживают компании, которые желают воспользоваться услугами аутсорсинга. Абоненты ЦОДа могут установить или арендовать сервер и хранить на нем данные, доступные лишь владельцу, обеспечить своим сотрудникам и клиентам почтовый сервис, получить квалифицированную поддержку информационных проектов. Обычно ЦОД предоставляет клиентам возможность подключения к каналам связи магистрального оператора.

Главная цель бизнес-плана – экономическое обоснование проекта создания коммерческого ЦОДа. В нем должны быть рассмотрены финансовые и технические характеристики проекта по трем сценариям: пессимистичный, средний, оптимистичный.

Каждый из сценариев представляет собой набор предположений, влияющих на результаты деятельности предприятия. Основным критерием успешности (возврата инвестиций) является положительный показатель NPV – чистая приведенная стоимость денежного потока инвестиций и доходов. В основе расчета NPV лежит ставка дисконтирования. Вторая важная характеристика эффективности инвестиций – показатель IRR (внутренняя норма доходности). Все показатели рассчитываются для трех сценариев. За окончательный период оценки эффективности проекта обычно принимают 10 лет, так как это типичный срок амортизации инвестиций в здание и инженерную инфраструктуру (срок их полезного использования).

Детальная разработка маркетинговой стратегии с описанием предлагаемых рынку услуг ЦОДа (девелопинг, хостинг, облака, colocation и т.д.), их конкурентных преимуществ, принципов формирования цены, дифференциаторов от ближайших конкурентов – важная часть бизнес-плана. Именно на этом этапе разработки необходимо провести оценку спроса на предлагаемые услуги на рынке и составить прогноз на срок реализации бизнес-плана.

Следует также уделить внимание расположению будущего объекта. Более 60% коммерческих ЦОДов расположено в Московском регионе, что объясняется скорее психологическими факторами, чем технологическими. Одна из главных причин создания ЦОДа вне Москвы – это, наряду с проблемами подбора подходящих площадок в черте города, нехватка дешевых энергоресурсов. На территории Москвы энергоресурсы отличаются довольно высокой ценой за киловатт-час. За последние несколько лет энергетический потенциал за счет перепрофилирования предприятий города частично удалось использовать в «мирных целях», в том числе при строительстве коммерческих ЦОДов. Но после принятия в ноябре 2009 г. Федерального закона № 261-ФЗ об энергосбережении и о повышении энергетической эффективности размещение объектов подобного уровня в черте города нерационально.

Не менее важная проблема – ограничения на размещение дизель-генераторных установок (ДГУ), которое в городской черте разрешено только в промышленных зонах (это связано с вопросами экологии). Однако ряд операторов, предлагая услуги новых ЦОДов, анонсируют наличие в них ДГУ при размещении дата-центра в пределах жилой застройки, что категорически запрещено. Обход этого запрета в форме размещения около здания ЦОДа мобильных ДГУ (на колесной платформе) нельзя считать хорошим решением, так как возникают ограничения по резервируемой мощности и размещению локального топливохранилища для обеспечения непрерывной работы в течение 12 ч**.

Модель 3: ЦОД со смешанной структурой услуг. При обосновании инвестиций в создание такого ЦОДа необходимо понимать реальные пропорции между внутренними потребностями и услугами, которые могут быть предложены рынку. Четкое представление о них позволит сформировать ясную экономическую модель и правильно оценить срок возврата инвестиций.

Создавая бизнес-план, в первую очередь необходимо решить, какой продукт, какую услугу вы собираетесь предлагать рынку. На первый взгляд, услуги дата-центров однотипны, но при более пристальном взгляде выясняется, что отдельные виды услуг предполагают отличные от других бизнес-процессы, капитальные вложения и операционные расходы.

Первый и самый распространенный, базисный класс услуг – аренда стоек и пространства внутри стоек. Это самая простая с точки зрения бизнес-процессов и технологии услуга, по сути – аренда недвижимости с определенными параметрами качества и мощности предоставляемого электроснабжения и микроклимата.

От первого класса услуг неотделим второй – предоставление каналов связи.

Но даже в данном случае есть множество маркетинговых альтернатив. Вопрос «сколько стоит дата-центр на 1000 стоек?» так же не имеет смысла, как и вопрос, сколько стоит автомобиль с объемом двигателя 3 л. Какой мощности будут стойки? Какие каналы связи необходимы? Какой требуется уровень надежности? Прежде чем начинать писать бизнес-план, необходимо определить, кому предполагается продавать услуги.

На рынке присутствуют дата-центры с разными наборами нагрузочных характеристик в пересчете на стойку. Клиенты из разных сегментов имеют собственные требования к мощности, так как серверное оборудование крайне разнообразно. К операторам ЦОДов поступают запросы на стойки с подводимой мощностью от 1 до 30 кВт.

К сожалению, построить универсальный дата-центр практически невозможно, и либо приходится перезакладываться на максимальные решения и применять дорогостоящие технологии, либо на этапе маркетинга следует определить, в каких пропорциях дата-центр будет содержать стойки с разными мощностными характеристиками. Все эти параметры напрямую влияют на размер капитальных вложений в пересчете на 1 кВт и одну стойку.

Еще один класс услуг, виртуальный хостинг, облака и аренда серверов, – это более высокоуровневые услуги, они требуют больших капитальных вложений и операционных расходов, но при этом и более маржинальны. На Западе данные услуги часто отделяют от услуг аренды стоек. Компании, предоставляющие виртуальный хостинг, облака и аренду серверов, обычно сами не строят помещения дата-центров, а лишь арендуют их оптом. В российской же практике дата-центры с удовольствием объединяют эти услуги в рамках одной компании и стараются нарастить вертикальную интеграцию.

Таким образом, перед созданием бизнес-плана по рассматриваемой модели нужно четко ответить на два вопроса:

• какой перечень услуг будет оказывать ваш дата-центр?

• на каких клиентов и какие их запросы он будет рассчитан?

Ответы на эти вопросы лягут в фундамент бизнес-плана, отразятся на конкретных финансовых показателях будущих капитальных и операционных затрат.

Общие рекомендации по частным вопросам

Затраты через призму TCO и эскизного проекта. Написание бизнес-плана должно тесно пересекаться с процессом создания эскизного проекта или концепции будущего дата-центра. Это связано с тем, что невозможно посчитать финансовую модель ЦОДа без выбора конкретных технических решений, стоимость и сроки реализации которых значительно влияют как на капитальные вложения, так и на операционные расходы. К примеру, более энергоэффективные технологии существенно дороже, чем традиционное фреоновое кондиционирование, но зато они позволяют получить экономию на операционных расходах до 20%.

Единственным реальным инструментом для измерения эффективности дата-центра с коммерческой точки зрения может быть только ТСО – совокупная стоимость владения. TCO – это совокупность затрат на строительство и обслуживание ЦОДа с учетом коэффициентов дисконтирования. Можно купить недорогое инженерное оборудование и тратить огромные деньги на электричество и поддержание его работоспособности, а можно заплатить больше, но получить недорогую в обслуживании систему. Возможна и ситуация, в которой закупленное инженерное оборудование с превосходными техническими характеристиками не окупится за весь срок службы дата-центра.

Принимая это во внимание, необходимо тщательно взвешивать все «за» и «против» при выборе того или иного технического решения и максимально детально сравнивать капитальные и операционные расходы.

Кассовый разрыв как зеркало ошибок при оценке капитальных затрат. Первая и главная неприятность, ожидающая потенциального инвестора, – это абсолютная величина капитальных вложений при строительстве дата-центра. Чудес в этом мире не случается, и не стоит рассчитывать построить ЦОД в разы дешевле, чем $25–30 тыс. в расчете на одну стойку 5 кВт. И чем более высокотехнологичный и высоконагруженный дата-центр планируется, тем дороже будут обходиться инженерные системы в пересчете на 1 кВт, подведенный к ИТ-оборудованию.

В значительной мере на стоимость строительства будет влиять топология выбранного здания или помещения. Необходимость же покупки электрических мощностей, особенно в крупных городах, может мгновенно сделать проект дороже – на величину от 30% до двух раз.

В структуре капрасходов на создание ЦОДа выделяют несколько основных статей – это затраты на строительную подготовку помещения либо на строительство здания, на создание инженерной инфраструктуры дата-центра, на создание телекоммуникационной инфраструктуры, а также на покрытие кассовых разрывов до выхода объекта на самоокупаемость.

О последнем пункте потенциальные инвесторы периодически забывают, но его доля может оказаться весьма весомой в общей структуре расходов. Нужно помнить, что строительство дата-центра – дело небыстрое, оно может занять от полугода до двух лет, считая с начала проектирования, в зависимости от масштаба. При этом уже на начальных этапах написания технического задания и разработки проектной документации следует собирать команду, которая в дальнейшем будет обслуживать этот дата-центр. И если в самом начале достаточно одного-двух специалистов, то на этапе строительства команда должна быть укомплектована на 30–50% от общего регламентного количества технических сотрудников. Это позволит минимизировать или устранить большинство недочетов при приемке объекта, пуске его в тестовую, а затем и в коммерческую эксплуатацию. Так вот, этот персонал, а затем уже увеличившийся штат в начале коммерческой эксплуатации и вплоть до выхода на операционную самоокупаемость будет требовать значительных средств, которые обязательно следует учитывать при создании бизнес-плана и расчете финансовой модели.

К капитальным затратам можно отнести и арендные платежи, которые придется перечислять из инвестиционных денег вплоть до выхода на самоокупаемость.

Капитальные затраты на создание инженерной инфраструктуры складываются из стоимости инженерных подсистем, традиционных для ЦОДа, причем большую часть из них – до 60–70% от общей стоимости дата-центра – составляют подсистемы энергоснабжения и кондиционирования.

По возможности необходимо предусмотреть поэтапное наращивание мощностей дата-центра, что позволит оптимизировать капитальные вложения и существенно улучшит финансовые показатели проекта. При этом необходимо соблюсти принцип разумности и не пытаться вводить в эксплуатацию по одной или две стойки. Шаги масштабирования ЦОДа можно просчитать на основе прогноза продаж его услуг и инструментария логистической науки в области складских остатков.

«Зеленые» технологии и операционные расходы. Объем операционных расходов напрямую зависит от применяемых технических решений. Например, в случае энергоэффективных «зеленых» технологий можно рассчитывать на снижение ежемесячных затрат на поддержание работоспособности дата-центра за счет уменьшения расходов на электроэнергию. Можно также варьировать размер фонда оплаты труда, отдавая на аутсорсинг часть бизнес-процессов.

Стабильным остается лишь следующий перечень статей расходов: аренда помещений; электроэнергия; другие коммунальные услуги, помимо электроэнергии; фонд оплаты труда, в том числе затраты на обучение специалистов; техническое обслуживание инженерных систем; налоговые отчисления; поддержание офиса; маркетинговое продвижение.

Наиболее затратными статьями в дата-центре являются оплата электроэнергии (до 60% от общей суммы затрат), расходы на содержание персонала, причем чем более высокого уровня услуги предоставляет дата-центр (например, облака), тем большая доля в операционных затратах приходится на персонал. Большие доли также занимают арендные платежи и техническое обслуживание инженерных систем.

По грубым оценкам, величина ежегодных расходов на дата-центр, при условии выхода его на полную мощность, может достигать половины стоимости его строительства, причем большую часть этой суммы составят счета за электроэнергию.

Поскольку второй существенной статьей являются расходы на содержание персонала, это подталкивает владельца дата-центра оптимизировать данный раздел с не меньшим энтузиазмом, чем энергопотребление. Но сделать это зачастую не представляется возможным, так как стоимость специалистов диктует рынок труда, а их количество – типовые регламенты обслуживания ЦОДа и стандартный перечень инженерных подсистем. Самые простые способы уменьшить относительную долю этих затрат в общей сумме расходов на содержание дата-центра – это максимальная детализация регламентов обслуживания, что позволит привлекать менее квалифицированные кадры, передача обслуживания части подсистем аутсорсинговым компаниям и увеличение масштабов дата-центра, при котором рост количества персонала носит нелинейный характер.

  

Безусловно, структура и процесс разработки бизнес-плана создания дата-центра высокого уровня надежности куда сложнее и детальней тех стежков, которые мы попытались набросать в этой статье. Общей методике разработки бизнес-планов посвящены многочисленные тома научной и околонаучной литературы. Мы просто попытались отметить ряд важных, на наш взгляд, моментов, которым следует уделить должное внимание при разработке бизнес-плана для ЦОДа категории надежности не ниже Tier III.

_____________________________________________________________

* Данные по состоянию на 19.10.2011.

** Одно из требований Uptime Institute по надежности инфраструктуры ЦОДа уровня Tier III.

Поделиться: Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

В первой части Александр Лебедев уже рассказал о том, как разработать план и составить техническое задание для участников команды. Сегодня поговорим о проектировании, строительстве и сдаче в эксплуатацию центра обработки данных.

Часть II. Разработка документации, строительство ЦОДа, сдача в эксплуатацию

Строительство ЦОДа: этап 2. Проектирование и разработка технической документации

Процесс проектирования ЦОДа – задача, которая требует комплексного подхода и учета достаточно большого количества взаимосвязанных факторов. На данном этапе реализуется разработка эскизного проекта дата-центра, определяются конструктивные и архитектурные особенности, предварительная планировка, перечень и номиналы необходимого инженерного оборудования.

Бесперебойная эксплуатация ЦОДа зависит от качества и детальности проработки проекта. На данном этапе крайне важны не только высокий профессионализм и компетенция проектировщиков, но и их реальный опыт в проектировании, строительстве и эксплуатации дата-центров, начиная от устранения причин протечки крыши и коротких замыканий в электроцепи, заканчивая знаниями всех элементов вентиляции и других звеньев функциональных структур.

Первый наш опыт построения серверной был не самым удачным, мы допустили ряд ошибок, не были проработаны все детали и элементы структуры. В результате чего малейшие незначительные действия (кто-то задел проводок или отсоединился патч-корд) приводили к большим проблемам. Был случай соединения питания под фальш-полом через сетевой фильтр, который перегорел, а мы долго искали, где разрыв цепи. Была потрачена уйма времени и сил, не говоря о простое в работе.

Вот как выглядела наша старая серверная:

Проектирование ЦОД осуществляется в соответствии с постановлением Правительства РФ от 16.02.2008 г №87 «О составе разделов проектной документации и требованиями к их содержанию», региональными строительными нормами и требованиями технического задания. При проектировании ЦОД учитываются требования действующего законодательства и нормативных документов по пожарной безопасности, охране труда и экологии.

В России с 1 августа 2020 года вводятся в действие два новых национальных стандарта, устанавливающих нормы создания и эксплуатации инженерной инфраструктуры ЦОДов. Эти стандарты (ГОСТ Р 58811-2020 «Центры обработки данных. Инженерная инфраструктура. Стадии создания» и ГОСТ Р 58812-2020 «Центры обработки данных. Инженерная инфраструктура. Операционная модель эксплуатации. Спецификация») опубликованы на официальном портале Федерального агентства по техническому регулированию и метрологии (Росстандарт). В эпоху глобальной цифровизации введение такие стандартов в области регулирования строительства и использования дата-центров является немаловажным шагом в развитие отрасли в целом. Данные стандарты позволят улучшить качество предоставляемых услуг, оптимизировать строительство и эксплуатацию ЦОД.

Помимо национальной нормативной базы существует ряд международных стандартов, широко применяемых на практике:

  • Стандарты Tier Standard: Topology и Tier Standard: Operational Sustainability, определяющие критерии классификации физической инфраструктуры ЦОД, разработанные The Uptime Institute;
  • Международный стандарт ISO/IEC 30134 «Информационные технологии – Центры обработки данных – ключевые показатели эффективности», содержащий общие требования и положения, нормы эффективности использования мощности (PUE), регламент возобновляемого энергетический фактора;
  • Стандарт 002–2010: Data Center Design and Implementation Best Practices, разработанный Международной консультативной службой строительной отрасли и расширенный в 2015 году с выходом ANSI/BICSI 002–2014;
  • Европейский стандарт EN 50600, подготовленный Европейским комитетом электротехнической стандартизации (CENELEC), определяющий регламент проектирования сооружений и инфраструктуры центров обработки данных;
  • Стандарт ANSI/TIA-942-A Telecommunications Infrastructure Standard for Data Centers, разработанный Ассоциацией телекоммуникационной отрасли (TIA) и Американским национальным институтом стандартов (ANSI), затрагивающий в основном кабельную и сетевую инфраструктуру, и предусматривающий избыточность и надежность в соответствии с уровнями The Uptime Institute;
  • И другие стандарты.

В процессе проектирования ЦОДа и разработки комплекта проектной и рабочей документации осуществляется постановка и решение задач следующего направления:

  • Формулирование общей концепции проекта ЦОД, планирование инфраструктуры. Составляются эскизы размещения оборудования, выбираются оптимальные пути прокладки кабельных трасс. Рассчитываются параметры потребляемой мощности, а также отводимого тепла;
  • Проектирование и построение структурированных кабельных систем (СКС) с учетом заданных параметров и пожеланий заказчика. СКС связывают между собой компоненты дата-центра;
  • Обустройство помещения с учетом требований пожарной безопасности;
  • Монтаж источников бесперебойного питания;
  • Построение эффективных систем охлаждения и кондиционирования, позволяющих создать необходимый для оборудования микроклимат;
  • Расстановка серверных стоек и шкафов, монтаж патч-панелей, заведение основных магистралей и подключение питания;
  • Размещение серверного и другого активного оборудования;
  • Обеспечение безопасности объекта за счет установки видеонаблюдения и контроля доступа на объект.

Главные требования к дата-центрам – это надежность оборудования, достаточная скорость передачи данных, безопасность информации и наращиваемость инфраструктуры. Все эти показатели достигаются путем применения самых современных решений в организации структурированных кабельных систем и локальных вычислительных сетей. Поскольку именно они являются основой для организации других инженерных и телекоммуникационных систем, рассмотрим более подробно основные элементы инженерной инфраструктуры ЦОДа.

Помещение дата-центра

Помещение центра обработки данных (серверной) не должно быть проходным. Нецелесообразно размещать ЦОД рядом с внутренними конструкциями здания, которые ограничивают возможное расширение в будущем: лестничные марши, лифтовые шахты и т.д. Рекомендуется под ЦОД использовать помещение без окон, а если все-таки окна имеются, то размещать оборудование на северной или северо-восточной стороне здания. Необходимо избегать близкого размещения к источникам мощных электромагнитных полей, а также размещать рядом с оборудованием с повышенной вибрацией.

Минимально допустимый размер помещения ЦОДа (серверной) – 14 кв. м. Помещение должно иметь площадь для правильного расположения вычислительных ресурсов и обслуживающего оборудования или составлять 0,07 кв. м на каждые 10 кв. м обслуживаемых рабочих мест. Минимальная высота потолка должна составлять 2,44 м. Перекрытия здания должны выдерживать нагрузку минимум 1000 кг на 1 кв. м.

Пол, в соответствии с п.17.20 РД 45.120-2000, должен быть ровным и иметь антистатическое покрытие с сопротивлением 106 Ом, обеспечивающее стекание и отвод статического электричества. Настил пола осуществляется на несгораемое основание. Рекомендуется использовать фальшпол.

Дата-центр – это помещение с определенной структурой. Оно может состоять из таких элементов, как:

  • Машинный зал, в котором размещается оборудование, связанное кабельной системой;
  • Комната ввода, которая подключается к одному или нескольким интернет-провайдерам;
  • Главная распределительная зона, в которой располагаются коммутаторы и маршрутизаторы;
  • Горизонтальная распределительная зона, связывающая элементы ЦОД с помощью кабелей;
  • Аппаратные зоны (например, серверные стойки и распределительные шкафы);
  • Кабельная система.

Наш центр обработки данных занимает помещение общей площадью 100 кв. м правильной прямоугольной формы с допусками не более 1 см. Состоит из зон: главная зона с оборудованием (серверная), горизонтальная распределительная система (трасса для слаботочных систем и зона для оборудования пожаротушения (см. Рис.5). Основное оборудование размещено в комнате без окон, где имеется фальшпол (высотой 0,5 м от уровня основного пола).

Рис. 5. План-схема ЦОДа ООО «РТП»

Система электроснабжения ЦОДа

Обеспечение постоянного и бесперебойного энергоснабжения – основная задача при создании ЦОДа. Предусматривается несколько вводов электроснабжения, чтобы обеспечить надежность работы центра. Для бесперебойного функционирования оборудования, дата-центры оснащаются надежной системой электропитания с защищенными кабельными линиями и автоматизированной системой диспетчеризации (позволяющей дистанционно проводить мониторинг работы оборудования и аварийных ситуаций), управления и перехода на резервные линии электропитания. Система бесперебойного электропитания дата-центров строится на базе ИБП, что позволяет при сбоях работать автономно, пока неполадки с электроснабжением не будут устранены. Внедрение ИБП помогает не только избежать перебоев в работе ЦОДа, но и уменьшить число отказов оборудования за счет повышения качества электропитания. С целью исключения возможности простоя дата-центра при длительных отключениях электроэнергии, предусматривается поддержка в виде дизель-генератора, который может осуществлять энергоснабжение в полном объеме.

Наш ЦОД обладает всеми параметрами уровня TIER-II, а по ряду характеристик соответствует уровню TIER-III. Электропитание осуществляется от двух независимых вводов от города и подается одновременно на два комплекта ИБП (для основной и инженерной нагрузок). Каждый комплект ИБП подключен к отдельному ДГУ, рассчитанному на 8-часовое отключение от основного источника электропитания. Чтобы не перегружать перекрытия здания, ИБП расположены на первом этаже здания, а ДГУ — в подвале. Сам ЦОД расположен на 6 (и последнем) этаже офисного помещения, в максимальной близости к антенному посту. Кабельные линии ВОЛС и электропитания проложены по двум вертикальным стоякам в разных концах здания. В каждой стойке предусмотрено 2PDU для бесперебойной работы оборудования с двумя БП.

Системы кондиционирования и климата

Для создания необходимых условий работы дата-центра требуется поддерживать в нем заданную влажность, температуру и подвижность воздуха. Система вентиляции и кондиционирования должна функционировать в режиме 24х7х365, поэтому ее работа должна дополнительно поддерживаться с помощью резервного генератора, и при этом работа оборудования не должна зависеть и от внешних погодных условий.

Основные климатические показатели для дата-центров представлены в Таблице 2.

Таблица 2. Значение предельных климатических показателей для ЦОДов

Показатель Значение в пределах нормы
Температура воздуха в помещении +18…+25°С
Влажность воздуха 40…55%
Скорость изменения влажности Не более 6% в час
Запыленность Не более 0,0001 г/м3

Достичь «идеальных» показателей не так просто. Даже у крупных и профессиональных ЦОДов бывают определенные сложности с этим. Так, например, в загруженном помещении дата-центра температура воздуха может повышаться до 30°С, что негативно сказывается на производительности оборудования, его отказоустойчивости и долговечности. На некоторых этажах ММТС-9 (X этаж), где располагались наши стойки, температура иногда серьезно превышала данный показатель.

Основная цель системы кондиционирования – не максимально охладить оборудование, ведь тогда нарушается теплообмен и нормальные условия работы оборудования, а отвести произведенное тепло от оборудования. В связи с чем выделяют системы кондиционирования (охлаждения) ЦОДа следующих видов:

1. Охлаждение на уровне зала. Установка одного или нескольких прецизионных кондиционеров в помещении. Неизбежное смешивание теплых и холодных потоков воздуха может снизить эффективность системы в целом.

А) Используются прецизионные кондиционеры (см. Рис. 6). Эффективность охлаждения 1-3 кВт на стойку.

Рис. 6. Схема охлаждения прецизионным кондиционером на уровне зала

Б) Используются прецизионные кондиционеры и фальшполы (с системой вытяжной вентиляции или без нее – см. Рис. 7 и 8). Потоки холодного воздуха подаются непосредственно через холодные коридоры фальшпола. Эффективность охлаждения до 5 кВт на стойку.

Рис. 7. Схема охлаждения на уровне зала с использованием фальшпола

Использование системы вытяжной вентиляции способствует предотвращению перемешивания потоков холодного и горячего воздуха путем вывода последнего от стоек через специальные воздухоотводы в общую систему вытяжной вентиляции. При этом сопла вытяжки располагаются непосредственно над горячими коридорами.

Рис. 8. Схема охлаждения на уровне зала с использованием фальшпола и системы вытяжной вентиляции

2. Охлаждение на уровне рядов (см. Рис. 9). Кондиционеры устанавливаются в ряду самих шкафов, путь циркуляции воздуха становится короче. Не нужны мощные вентиляторы, что снижает общие энергозатраты.

Рис. 9. Схема охлаждения на уровне рядов.

А) С изоляцией холодного коридора. В этом случае шкафы располагаются в один ряд напротив стены либо в 2 ряда друг напротив друга. Зона подачи холодного воздуха перекрывается крышей и дверями/шторками, создавая изолированный объем.

Б) С изоляцией горячего коридора. В этом случае шкафы располагаются спиной друг к другу, и изолируется зона горячего коридора.

3. Охлаждение на уровне стоек (см. Рис. 10). Для каждого серверного шкафа устанавливается свой кондиционер и средства изоляции пространства вокруг кондиционера. Воздушные потоки не попадают во внешнюю среду помещения – замкнутая система кондиционирования. Самое эффективное охлаждение без потерь.

Рис. 10. Система охлаждения на уровне стоек

Разные дата-центры выбирают подходящие системы кондиционирования помещения под свои нужды в зависимости от геометрии помещения, высоты потолков, плотности застройки и других технических характеристик.

Рис. 11. ЦОД StoreData. Система охлаждения на уровне ряда с изолированием холодных коридоров.

Рис. 12. ЦОД Останкино. Система охлаждения на уровне ряда с изолированием холодных коридоров.

Рис. 13. ЦОД МТС – Авантаж. Система охлаждения на уровне ряда с изолированием холодных коридоров.

Рис. 14. DataSpace. Разграничение горячего и холодного коридора без изолирования зон

Рис. 15. MCN Telecom. Система охлаждения на уровне стойки

Рис. 16. ЦОД Нагорная. Система охлаждения на уровне зала (в зале для нестандартного оборудования)

Для нашего ЦОДа мы выбрали систему охлаждения на уровне зала: четыре прецизионных кондиционера Schneider-Electricи наличие фальшпола, благодаря чему в помещении поддерживается температура воздуха на уровне +22°С. При помощи двух промышленных увлажнителей Carel серии HumiSteam X-Plus поддерживаем относительную влажность воздуха в пределах 45%. С целью предотвращения запыленности помещения регулируем приток воздуха из системы вентиляции, чтобы он был сильнее, чем мощность вытяжки, таким образом «прибивая» пыль к полу. Также наш фальшпол оснащен специальным антистатическим покрытием, препятствующим накоплению на поверхности статического электрического заряда (блуждающие статические токи), что способствует уменьшению пылеобразования в помещении. Ежедневно в помещении проводится влажная уборка. Все сотрудники при посещении ЦОДа надевают бахилы.

Система пожаротушения

Во многом надежность сохранения информации в дата-центрах зависит от мероприятий по пожарной безопасности, применяемых методов и средств пожаротушения. Системы пожаротушения для ЦОД проектируются с учетом требований по пожарной безопасности для данной категории помещений. Существует несколько типов систем пожаротушения (см. Табл. 4).

Таблица 4. Основные типы систем пожаротушения и их сравнительные характеристики1

Характеристики Аэрозольная/ Порошковая Газовая Тонкораспыленная вода высокого давления Гипоксический метод тушения
Описание Выброс порошковой химии и распыление продуктов горения аэрозоля, образующих пленку, предотвращающую проникновение кислорода Ввод специального газа в помещение, снижающего содержание кислорода и препятствующего процессу горения Распыление мелкодисперсного водяного тумана на область горения, что приводит к снижению уровня кислорода на местном уровне и охлаждает зону возникновения огня Создание и поддержание атмосферы, в которой пожар не может возникнуть. Постоянное снижение содержания кислорода в помещении до уровня ниже 14% путем введения азота
Рыночная стоимость СПТ для помещения 2,6 тыс. м3, млн руб. 0,2 – 0,5 6,5 – 11,8 15,9 – 16 ≈20
Опасность для оборудования Да, проявляется со временем Нет Нет Нет
Опасность для человека и окружающей среды Да Да Нет Нет
Последствия ложного срабатывания Небольшие убытки, замена сработавших модулей Огромные убытки, перезаправка всей системы Минимум
Шанс ложного срабатывания Присутствует Присутствует Присутствует Отсутствует
Особые требования к помещению (герметичность, контроль состояния дверей, доп. клапаны, затворы, особая вентиляция и пр.) Нет Да Нет Да

Пожаротушение серверной с помощью других автоматических систем пожаротушения не рекомендуется по причине высокой вероятности повреждения оборудования и потери данных.

В нашем ЦОДе мы установили газовую систему пожаротушения, с удвоенным объемом баллонов (основные и резервные). Используемый тип огнетушащего вещества Novec 1230 (Фторкетон ФК-5-1-12).

Система безопасности и контроля доступа

Для предотвращения проникновения посторонних и кражи данных, в дата-центрах используются различные системы ограничения физического доступа, системы видеонаблюдения, охранной и пожарной сигнализации, системы контроля доступа, использующие RFID и биометрическую авторизацию. А в некоторых ЦОДах (например, DataLine) используют проход через несколько контрольно-пропускных пунктов, прежде чем человек попадает непосредственно в помещение ЦОДа.

Для безопасности нашего ЦОДа мы используем:

  • Современную систему видеонаблюдения, исключающую «слепые зоны» и передающую информацию в режиме реального времени на панель видеонаблюдения службы безопасности дежурному сотруднику. Дополнительно вся информация хранится на защищенных серверах службы безопасности в течение месяца. В помещении машинного зала в дополнение к охранной системе видеонаблюдения установлены камеры технического видеонаблюдения, которое охватывает каждую стойку для контроля работоспособности оборудования и удаленной технической помощи дежурному персоналу, с обязательным хранением информации не менее 6 месяцев.
  • СКУД – многофункциональную отечественную систему Parsec для регулирования санкционированного входа/выхода сотрудников ЦОД и учета рабочего времени каждого сотрудника. Помимо общей системы контроля и управления доступом в помещения нашего ЦОД и прилегающих территорий, реализована система видеоверификации, и в ближайшее время будет осуществлена интеграция системы биометрического доступа в наиболее ответственные помещения. На каждой двери на вход и выход установлены контролеры доступа с источником бесперебойного питания и передачей информации по IP. Даже при возникновении чрезвычайной ситуации доступ в технические помещения имеет только сертифицированный персонал с правом доступа, так как ЦОД оснащен современной системой автоматического пожаротушения, не нуждающейся в присутствии человека. В дневное время доступ на территорию объекта осуществляется через пункт охраны с обязательной проверкой личности. В ночное время доступ в ЦОД имеют только дежурные технические службы.
  • Систему пожарной сигнализации, интегрированную с системой газового пожаротушения. Также в нашем ЦОДе реализована система оповещения о возможном перегреве силовых кабелей как часть системы пожарной сигнализации. Это система предварительного оповещения о возможной проблеме. Перегрев кабеля питания может сигнализировать об излишней нагрузке на нем, о проблеме оборудования или контактов, о повышенной плотности прокладки силовых линий на каком-либо участке, либо же о локальном перегреве и возгорании. Термокабель проложен так, чтобы по схеме было понятно, на каком участке и с каким силовым кабелем возникла проблема. Соответственно в пожарном щите установлены приемно-контрольные модули для этого кабеля, с которых сигнал идет в общую систему управления и мониторинга пожарной сигнализации.

Этап 3. Строительство ЦОДа

Для выполнения всего комплекса работ по строительству ЦОДа требуется штат сотрудников, обладающих высоким уровнем знаний и большим практическим опытом по созданию дата-центров. А такие специализированные системы, как пожаротушение, кондиционирование и пр., лучше адресовать профильным организациям.

Порядок проведения строительных работ:

1. Предварительные строительные работы. Подготовка зала: архитектура помещения, его геометрия и зонирование, существенно влияет на климат внутри помещения, распределение воздушных потоков, уровень влажности и пр. На данном этапе также происходит подготовка стен, пола и потолка.

2. Инженерные работы, монтаж:

  • Кондиционирование;
  • Система приточно-вытяжной вентиляции;
  • Система электроснабжения (в т.ч. бесперебойного);
  • Система пожаротушения и удаления продуктов тушения после пожара;
  • Система пожарной сигнализации;
  • Система охранной сигнализации;
  • Система видеонаблюдения;
  • СКУД;
  • СКС ЦОД;
  • Мониторинг;
  • Заземление и молниезащита.

3. Пуско-наладочные работы. Происходит поставка оборудования, размещение его на местах, подключение к энергосетям и информационным каналам. Идет наладка серверного оборудования и структурированных кабельных сетей.

На каждом этапе могут возникнуть свои проблемы: начиная от выбора подрядчика, заканчивая отслеживанием каждого этапа строительства с фото- и видеофиксацией проделанной работы. Крайне важно проверять каждый этап работ, ведь любая малейшая ошибка может привести к серьезным последствиям и многомиллионным убыткам.

Из нашего опыта: образовалась протечка основной крыши, а затем протекла и дополнительная крыша из-за сверления одного отверстия в неположенном месте, что привело к проведению ремонтных работ в помещении и дополнительным денежным затратам.

Этап 4. Сдача в эксплуатацию

На последнем этапе строительства производится ввод дата-центра в эксплуатацию. После сбора и расстановки серверных стоек, соединения всех блоков и элементов системы между собой, проверяется правильность коммутации. Проводится настройка системы и ее запуск в тестовом режиме, во время которого изучается ее работоспособность и отслеживаются все основные показатели (скорость подключения, ширина канала, общая работоспособность, надежность защиты от кибернетических угроз и пр.).

После успешного прохождения всех тестов ЦОД официально переходит в рабочий режим.

В нашем дата-центре размещено 20 шкафов и 18 открытых стоек для услуг коллокации. Сам ЦОД размещен в непосредственной близости к собственному антенному посту. Антенны позволяют принимать с высокими качественными характеристиками сигналы со всех орбитальных позиций, доступных для Москвы. ЦОД соединен с ММТС-9, ММТС-10 нашими собственными волоконно-оптическими линиями связи, что позволяет нам, помимо традиционной передачи данных, передавать сигналы КТВ и заниматься медиалогистикой. Более того, из нашего ЦОДа есть выход к любому оператору спутникового телевидения, у нас агрегируется большинство телеканалов в формате SDI.

Итак, создание ЦОДа далеко не дешевое (сотни миллионов рублей) и очень трудозатратное удовольствие, проведение всех работ может занять до 1 года. Однако, это сейчас является одним из самых перспективных направлений, и если грамотно к нему подходить, закладывая возможности на перспективу, то можно не только упрочить свои текущие позиции на рынке, но и получать хорошую прибыль!

Григорий ВАСЮКОВ&nbsp 20 декабря 2013

Создание такого сложного объекта, как дата-центр (ЦОД) – комплексная задача, для решения которой нужно не только учесть множество разных факторов, но и предусмотреть в бюджете проекта соответствующие статьи расходов.

Сам «комплект» факторов остается практически неизменным. А вот структура их влияния на общую стоимость проекта с годами меняется. Итак — на что предстоит потратиться тем, кто займется созданием дата-центра (неважно — собственного или коммерческого, то есть предназначенного для предоставления мощностей клиентам)?

Об этом нашему изданию рассказали эксперты, чья деятельность связана либо с эксплуатацией, либо со строительством ЦОДов.

Что нам стоит ЦОД построить

Аналитическая справка:
Российский рынок дата-центров в 2012 году вырос на 22,8% и составил 6,2 млрд руб. (для сравнения, весь российский рынок связи вырос на 5,1%). На сегодня в России насчитывается более 170 крупных и средних коммерческих дата-центров. В 2012 году было введено в строй порядка 14 крупных и средних коммерческих дата-центров – 8,3 тыс. кв.м. полезной площади. Общая полезная площадь коммерческих дата-центров в 2012 году достигла 62,6 тыс. кв.м, за год объем площадей вырос на 18,6%. Число стоек выросло на 17,8% и составило 18,7 тыс. Темпы роста рынка сохраняются на высоком уровне: по оценкам аналитиков, в 2013 году суммарная площадь дата-центров увеличится еще на 22 тыс. кв.м. (источник — iKS Consulting)

В самых общих чертах, расходы на ЦОД складываются из затрат на помещение (аренда, строительство, инженерия), оборудование (собственно стойки, система кондиционирования, дизель-генератор, система пожаротушении, ИБП), системы мониторинга, физической безопасности, энергоснабжение, заработную плату сотрудников и телекоммуникационную инфраструктуру (каналы связи). Причем цена на электроэнергию существенно отличается в разных регионах, что может оказать довольно сильное влияние на коммерческие показатели эксплуатации дата-центра и даже на выбор региона расположения будущего ЦОДа.

Специфика ЦОДов такова, что не всякий объект недвижимости может быть использован для их создания. Например, перекрытия зданий должны выдерживать колоссальную нагрузку (не менее 735кг/м² при нагрузке сверху плюс 125кг/м² нагрузки снизу, по нормам международного стандарта Tier III), минимальная высота потолков – 2 м 44 см, а сами здания не могут располагаться в сейсмически опасных зонах, вблизи водоемов, линий электропередач и различных объектов повышенной опасности. Кроме того, помещения должны располагаться вблизи магистральных линий связи, которые к тому же необходимо резервировать во избежание проблем с организацией качественного подключения к Интернету. Отдельные требования предъявляются к помещениям для персонала дата-центра, организации контроля доступа, обеспечению резервного электропитания и возможностям подключения достаточных для работы всех систем ЦОД энергомощностей.

С учетом всего этого, по мнению гендиректора компании «Миран» Игоря Ситникова, сегодня оптимально строить помещение под ЦОД самому и на собственной, а не арендуемой, земле, поскольку в долгосрочной перспективе это выйдет дешевле.

Обратная сторона этого подхода – сроки. Поиск и подготовка объектов недвижимости для организации дата-центра в среднем занимает год-полтора. В случае, если речь идет о строительстве дата-центра с нуля — прибавляется еще два-три года. Всевозможные хлопоты по получению необходимых разрешений, сертификатов и ресурсных квот могут продлиться около года. Особенно много времени занимает поиск подходящего «пятна» под стройку и оформление документов на землеотвод. В среднем, по оценке Евгения Щепилова, руководителя компании «Сервионика» (ГК «Ай-Теко»), в управлении которой находится один из крупнейших российских дата-центров «ТрастИнфо», процесс создания нового дата-центра и его подготовки к выводу на рынок занимает 2-3 года, а в отдельных случаях — и больше.

Возможно, именно этим объясняется многолетнее превышение спроса над предложением качественных дата-центров в России, особенно — в столичном регионе. 9 из 10 крупнейших дата-центров России находятся здесь: в Москве и Московской области сосредоточено 77% доходов российского рынка коммерческих дата-центров и 64,7% коммерческих площадей. Объем рынка дата-центров Москвы в 2012 году вырос на 22% и составил 4,8 млрд руб., годом ранее этот же показатель составлял 3,9 млрд рублей). В то же время, заказчики становятся все более требовательными к качеству инфраструктуры и уровню сервиса, предоставляемого дата-центрами, однако далеко не все площадки могут этим современным требованиям соответствовать. Появление новых игроков на этом рынке затруднено из-за высокого «входного порога»: инвестиции уже на самых ранних стадиях требуются серьезные, а отдачи от них можно ожидать не ранее, чем через 7-10 лет (с учетом сроков строительства и выхода реализованного объекта хотя бы на самоокупаемость, а затем — и на прибыль).

Но, допустим, компания уже прошла все сложности начального этапа: дата-центр построен и работает. Стало ли легче в плане затрат? Не факт: известен парадоксальный пример одной из крупнейших российских интернет-компаний, которая несколько лет назад, в пору интернет-бума, не успевала модернизировать свой дата-центр — быстрее было просто покупать новые площадки. Какой вывод? При строительстве собственного ЦОДа не стоит экономить: нужно рассчитывать его параметры с внушительным заделом на будущее. На сегодняшнем рынке будущее наступает очень быстро: требования к надежности и мощности растут с каждым годом.

За время, пока дата-центр строится, запросы рынка и стратегия компании могут существенно измениться. И при пересмотре бизнес-плана может выясниться, что дата-центр, который создавался исключительно для внутренних нужд, эффективнее перепрофилировать для коммерческого использования. Кроме того, нужно учитывать, что дата-центр — это дорогостоящий актив, с учетом рыночной ситуации его можно выгодно продать.

Плюс электрификация всей страны

На рынке очевиден жесткий дефицит готовых помещений, пригодных для перепрофилирования в дата-центр, поэтому шанс снизить капитальные затраты за счет устранения расходов на строительство объекта очень мал. Более вероятен сценарий, когда помещение приходится арендовать по ставке 9000-15000 рублей за 1 кв.м в год, да еще и за свой счет «доводить до ума» его инфраструктуру, например — электрические сети. В частности, проект, реализуемый сейчас компанией «Миран», предусматривает прокладку 1,5 км электрокоммуникаций – это обойдется в 10 млн рублей. Покупка и установка ИБП – от 5 до 10 млн., еще в 10 млн обойдется дизель-генераторная установка (ДГУ) для резервного энергопитания на случай перебоев с центральным энергоснабжением.

В настоящее время энергоэффективность ЦОД обычно определяется с помощью коэффициента Power Usage Effectiveness (PUE).

Так, по данным HP и Fujitsu, среднее значение коэффициента PUE для большинства ЦОД в Германии составляет около 1,6–2. Это означает, что в ЦОД должно поступить 1,6–2 Вт электроэнергии, чтобы системы ИТ получили 1 Вт. Оставшиеся 0,6–1 Вт расходуются на охлаждение, освещение и прочие нужды. Только в ЦОД новейшего поколения удается достичь показателей PUE на уровне 1,1–1,2.

Энергопотребление современных дата-центров растет и составляет сейчас до 15-16 кВт на стойку (для стойки серверов 1U) и 24 кВт (для стойки модульных серверов), существуют варианты и с 50 кВт на стойку — дата-центры, созданные 5-10 лет назад, просто не рассчитаны на работу с такими нагрузками, такие дата-центры способны отводить максимум до 6 кВт тепла. Ужесточились требования и к экологической безопасности дата-центров: уровням тепловыделения и шума, устройству систем охлаждения. В зарубежных дата-центров более 70% ТСО (стоимости владения объектом) приходится именно на потребляемую энергию, что также связано с высокими тарифами на нее.

Дмитрий Петров, гендиректор оператора связи «Комфортел», считает, что энергоснабжение сегодня является самой крупной статьей в бюджете любого ЦОД, наряду с фондом заработной платы. «Именно поэтому сейчас энергоэффективность ЦОДов является такой горячей темой: инвестируя в ее обеспечение, оператор получает огромную экономию на весь дальнейший период эксплуатации», — отмечает он. В целом, по оценкам Gartner, 28% среднестатистического IT-бюджета приходится на инвестиции в инфраструктуру и приложения, а оставшиеся 72% — на их обслуживание.

Резервирование каждого узла инфраструктуры согласно стандарту доступности Tier-3 (схема резервирования N+1) влечет за собой дополнительные траты на оборудование. Площадку необходимо обеспечить двумя независимыми энерговводами, что, в отличие от ЦОД уровней Tier-1 и Tier-2, обеспечивает полное резервирование энергоснабжения.

При планировании инвестиций в дата-центр (например, его покупку или модернизацию имеющегося) важным фактором для снижения ТСО является уровень внедрения новых технологий. Растет спрос на услуги виртуализации инфраструктуры, в связи с чем капитальные инвестиции провайдеров и владельцев собственных дата-центров все чаще направляются на закупку более производительных серверов с низким энергопотреблением, совершенствование систем учета потребления электроэнергии, управления ресурсами дата-центра, прогнозирования загрузки машинных залов.

Отметим, что в мире проблема энергоэффективности ЦОДов – одна из самых острых, стоящих перед отраслью – иногда успешно решается счет использования географических особенностей ландшафта, в который вписано здание, где базируется объект.

Так, компания Interxion на своем объекте в Стокгольме экономит $1 млн в год просто забирая воду из Балтийского моря для охлаждения своего ЦОД. Традиционно это проблема решается за счет кондиционирования, а, значит, еще больших затрат на электроэнергию. Вокруг Стокгольма имеется готовая сеть трубопроводов с циркулирующей в них морской водой. Именно к ней и удалось подключиться Interxion. По аналогичной модели решена проблема охлаждения ЦОДов Google в Финляндии.

Температура воды на входе в первый модуль ЦОД составляет 6°С, а на выходе – 12°С. Второй модуль вода покидает уже с температурой 18 °С, а в третьем нагревается до 24 °С. После этого она поступает на насосную станцию и используется для отопления близлежащих домов и офисов.

После реализации проекта компании удалось уменьшить коэффициент эффективности использования электроэнергии (Power Usage Effectiveness, PUE) с 1,95 до 1,09, на 80% снизить затраты на охлаждение по сравнению с системами на базе воздушного охлаждения и на 13% — по сравнению с системами жидкостного охлаждения.

Оценив эффективность проекта, компания планирует создать такую же схему в Лондоне — с использовангием вод Темзы. В России подобный проект реализуется в ЦОД «ТрастИнфо» (ГК «Ай-Теко»): этот дата-центр расположен в комплексе зданий Научно-исследовательского центра электронно-вычислительной техники (НИЦЭВТ), на территории которого находится технический бассейн. Он используется как резервное хранилище холода. Вода температурой +7°C охлаждает этиленгликоль внешних контуров системы охлаждения, холодная вода также залита в два внутренних контура системы холодоснабжения. Во внутренней системе водоснабжения используется накопительный бак холода на 2000 кубометров воды. Система обеспечивает 4 часа автономного охлаждения дата-центра при полной загрузке мощностей.

Сложить и перемножить

Существует несколько методологий, по которой оцениваются издержки на оснащение машинных залов. Некоторые эксперты оценивают «чистые» затраты на оборудование, которым необходимо оснастить дата-центр уровня Tier III с полезной площадью 2000 кв. м. при «энерговооруженности» 1 кВт/кв. м в 44,8 млн долл., — то есть, 22,4 тыс. долл. за квадратный метр машинного зала. Однако более реалистичной представляется оценка совокупности всех затрат, и они могут составить 45-60 тысяч долларов США на одну стойку. Сюда входит не только стоимость оборудования, но и затраты на создание инфраструктуры, лицензирование, услуги монтажа и технической поддержки — ведь «железо» не будет работать само по себе.

Начальник отдела инфраструктурных проектов «Компания КОМПЛИТ» Владислав Яковенко отмечает незначительное снижение стоимости стойки (на 5-7%) в течение последних пяти лет. Одна из причин — повышение компетенции проектировщиков и строителей дата-центров: опыт позволяет удешевлять решения, применяемые при строительстве новых дата-центров, даже несмотря на ежегодный рост тарифов на энергоснабжение и оборудование и других операционных затрат. «Что касается других составляющих, то я бы отметил затраты на персонал: с ростом компетенции специалистов растут и их зарплаты. Ставки по аренде снижаются, но качество помещения иногда несет в себе скрытые издержки, и реальная стоимость эксплуатации может значительно отличаться от декларируемой. Тарифы на электричество растут постоянно. Для типовых ЦОДов в РФ сегодня «вилка» в 27-33 тысячи долларов на стойку является справедливой оценкой», — говорит эксперт.

По прогнозу В. Яковенко, этот показатель в ближайшие несколько лет останется неизменным. Известное выражение «хороший компьютер стоит 1 тысячу долларов» подтверждает свою истинность уже много лет. И этот «хороший компьютер» с каждым годом несет в себе все более «продвинутую» начинку из железа и софта. То же, по словам г-на Яковенко, произойдет и с ЦОДами: средняя стоимость стойки останется на указанном уровне, но за счет новых технологий (например, виртуализации), будет доступен новый уровень качества их эксплуатации.

С ним не соглашается Игорь Ситников – по его словам, средняя стоимость стойки (с учетом низового сегмента рынка услуг ЦОД) составляет 20-25 тысяч долларов, но новые качественные ЦОДы по стоимости выходят дороже, чем те, что его компания строила несколько лет назад. «Так, в рамках нового проекта нашей компании стойка выходит в районе 33 тысяч долларов, это без работ по зданию и покупки ДГУ (порядка 10 млн). Стандарт – чуть выше, чем Tier III, схема резервирования – 2N», — отметил он.

Если говорить о капитальных затратах, то пропорции расходов меняются в зависимости от концепции ЦОДа, говорит Дмитрий Петров. «В среднестатистическом дата-центре (Tier III, адаптированный под российские реалии) затраты начинаются от 30 тысяч долларов на стойку. Это полностью оборудованный ЦОД с подведением мощности 7-8 кВт на стойку. Если этот показатель увеличивается до 30 кВт, затраты возрастают: нужны более серьезные кондиционеры, и обеспечение их дублирования, поскольку перебои, например, в системе охлаждения могут просто «убить» всю стойку», – поясняет он.

По мнению Евгения Щепилова, в случае, если ЦОД строится с нуля (условно говоря, «в чистом поле»), на объекте класса Tier III, рассчитанном на 500 стоек, стоимость одной стойки составит порядка 30 тыс долларов, не считая затрат на организацию энергоснабжения. Если же речь идет об уже существующем объекте, то цена может быть на 40-50% выше.

Еще один весьма затратный элемент современного ЦОДа – централизованная система управления подачей электропитания: сложный, тонко настраиваемый и дорогой в обслуживании аппарат. Энергоснабжение в РФ очень сильно отличается от стандартов Германии и Японии, где эти устройства производят, поэтому адаптировать их к нашим реалиям – целое искусство. К тому же, в соответствии с требованиями международных стандартов и ГОСТов, регламентирующих работу дата-центров, такая система также должна резервироваться.

Контроль доступа, видеонаблюдения и организация охраны – разовые затраты на эти составляющие относительно невелики, однако весьма и весьма заметны операционные издержки, и по мере работы дата-центра они возрастают: технические системы нуждаются в модернизации, могут возникать дополнительные расходы на персонал, меняться условия договоров с собственниками земли и помещений дата-центра.

Что касается затрат на персонал, многие участники рынка решают эту проблему, привлекая специалистов по схеме аутсорсинга. По мнению Евгения Щепилова, выбирая среди поставщиков аутсорсинговых услуг в области дата-центров, клиенты практически всегда будут отдавать предпочтение крупным компаниям. Крупный аутсорсер, как правило, располагает всеми необходимыми ресурсами, в том числе — квалифицированными специалистами и современной технической базой. «Сравнительный анализ опыта разных поставщиков показывает, что крупная компания может проявить больше гибкости при обсуждении условий сотрудничества: у нее больше ресурсов и больше возможностей выделить для клиента нужное количество специалистов с необходимой компетенцией. Небольшая компания, как правило, полностью погружена в реализацию одного-двух проектов, и для нее может стать проблемой оперативный ввод новых сервисов или другие изменения, которое клиенту необходимо реализовать оперативно — ведь резерва ресурсов нет. Поэтому риски таких компаний высоки, а издержки могут быть сопоставимы с затратами крупного аутсорсера», — отмечает г-н Щепилов.

В какую сторону вращается счетчик?

В целом, на конечной цене для потребителя услуг ЦОД уровня Tier III и выше все перечисленные факторы отражаются следующим образом: по экспертной оценке, средняя цена стойки у лидеров рынка в РФ варьируется в диапазоне 47-105 тыс. рублей за 5 кВт стойку (включая НДС).

При этом градация будет выглядеть следующим образом: у дата-центра уровня Tier I — 47-55 тыс. рублей за аренду стойки, Tier II — 55-80 тысяч, Tier III и выше — 80-150 тысяч рублей.

По результатам исследования 29 крупнейших дата-центров Москвы и Московской области, Средний уровень загрузки составляет 68%, количество стоек – более 12 тысяч.

Учитывая динамику цен на энергоносители и рост тарифов на энергоснабжение, российский рынок дата-центров будет работать в ближайшие годы в условиях роста цен при дефиците мощностей. С другой стороны, ужесточение конкуренции и требований клиентов неизбежно приведет к тому, что доля инновационных решений и современных технологий в строительстве и оснащении дата-центров будет увеличиваться. Только таким путем, как показывает мировая практика, можно противостоять растущей стоимости издержек и сохранять конкурентоспособные цены на услуги.

Поделиться: Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

Как известно, любой стартап начинается с фразы «Как же вы за***ли, лучше сам сделаю лучше».
В 2007 году положение с датацентрами в Москве, да и во всей России было критическим. Попасть туда простому хостеру можно было только по предварительной записи. Драли с него втридорога, сервера частенько перегревали, электричество периодически отсутствовало, и еще, стоило датацентру начать генерировать 2-3 гигабита полосы, как он тут же воображал себя царем горы, пытался барыжить твоим трафиком, а с несогласными боролся методом пускания моего трафика через узкий зашейпенный канал ***телекома зарубеж.
А общение с ночными дежурными датацентра — это отдельная песня. Чаще всего было проще приехать и самому найти вывалившийся патчкорд, чем полночи пытаться добиться от мало вменяемого, ничего не хотящего юноши. И это хорошо, если дежурный был и попасть в датацентр ночью было возможно. Некоторые датацентры работали с 9 до 5, кроме праздников и выходных дней. Все остальное время там не было НИКОГО. Сервер, упавший в пятницу вечером, пролежит, минимум, до дня понедельника.
Картинка, о том, что творилось внутри типичного датацентра того времени.

Мне, к тому времени, это порядком надоело, и, как выход, я решил строить свой датацентр, ориентированный на запросы меня и моих пользователей.
А именно хотелось:
1) Нормального, качественного охлаждения с большим запасом на случай выхода одного из кондиционеров.
2) Беспроблемного электричества и обязательно собственный дизель.
3) Каналы и до местных Tier1 и до пира. Трафик должен стоить нормальных денег.
4) Своей, вышколенной и вменяемой круглосуточной смены на площадке.
Своими мыслями я делился с знакомыми и нашел сочувствующих. Был написан бизнес план. Не спеша были найдены деньги на запуск и клиенты, что бы не работать в минус после запуска.
Был найден и будущий исполнитель строительства датацентра — Группа компаний «Радиус»
С января 2008 года мы начали искать помещение. И не просто так, а размером 200-400 метров, с выделением 600 kW электричества, с обязательной регистрацией договора аренды на срок 5 лет. На первом этаже. Без транзитных труб. И что бы было куда повесить кондиционеры.
Такое удачное сочетание найти было не так просто. Поиски помещения продолжались весь 2008 год. Нашлось немало удачных вариантов, но увы, так или иначе мы не договаривались. Или электричество было по 2 цены, или договор аренды не более чем на 3 года, или вообще завод шел под реконструкцию через 2 года.
Итак прошел весь 2008 год. Зимой количество объектов вдруг резко увеличилось, а арендодатели вдруг стали соглашаться на наши условия, и в январе 2009 года помещение было найдено. Представляло оно из себя не очень приятное зрелище.
Приблизительно вот такое

И с другой стороны

Итак, договор аренды подписан, мы с специалистами группы компаний Радиус засучили рукава и начали делать рабочий проект. Большой такой, талмуд, страниц на 1000. В котором подробно описали как сделать из того, что есть, красоту необыкновенную, нужную нам. К марту проект был готов, и началась стройка.
Как всегда, самое интересное в следующей серии

Add a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *