Грид

Грид-вычисления (англ. grid — решётка, сеть) — это форма распределённых вычислений, в которой «виртуальный суперкомпьютер» представлен в виде кластеров, соединённых с помощью сети, слабосвязанных гетерогенных компьютеров, работающих вместе для выполнения огромного количества заданий (операций, работ). Эта технология применяется для решения научных, математических задач, требующих значительных вычислительных ресурсов. Грид-вычисления используются также в коммерческой инфраструктуре для решения таких трудоёмких задач, как экономическое прогнозирование, сейсмоанализ, разработка и изучение свойств новых лекарств.

Грид с точки зрения сетевой организации представляет собой согласованную, открытую и стандартизованную среду, которая обеспечивает гибкое, безопасное, скоординированное разделение вычислительных ресурсов и ресурсов хранения^[1] информации, которые являются частью этой среды, в рамках одной виртуальной организации.^[2]

Грид является географически распределённой инфраструктурой, объединяющей множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения.^[3]

Идея грид-компьютинга возникла вместе с распространением персональных компьютеров, развитием интернета и технологий пакетной передачи данных на основе оптического волокна (SONET, SDH и ATM), а также технологий локальных сетей (Gigabit Ethernet). Полоса пропускания коммуникационных средств стала достаточной, чтобы при необходимости привлечь ресурсы другого компьютера. Учитывая, что множество подключённых к глобальной сети компьютеров большую часть рабочего времени простаивает и располагает большими ресурсами, чем необходимо для решения их повседневных задач, возникает возможность применить их неиспользуемые ресурсы в другом месте.

Распределённые, или грид-вычисления в целом являются разновидностью параллельных вычислений, которые основываются на обычных компьютерах (со стандартными процессорами, устройствами хранения данных, блоками питания и т. д.), подключённых к сети (локальной или глобальной) при помощи обычных протоколов, например, Ethernet, в то время как обычный суперкомпьютер содержит множество процессоров, подключённых к локальной высокоскоростной шине.

Основным преимуществом распределённых вычислений является то, что отдельная ячейка вычислительной системы может быть приобретена как обычный неспециализированный компьютер. Таким образом можно получить практически те же вычислительные мощности, что и на обычных суперкомпьютерах, но с гораздо меньшей стоимостью.

В настоящее время выделяют три основных типа грид-систем:

1. Добровольные гриды — гриды на основе использования добровольно предоставляемого свободного ресурса персональных компьютеров;
2. Научные гриды — хорошо распараллеливаемые приложения программируются специальным образом (например, с использованием Globus Toolkit);
3. Гриды на основе выделения вычислительных ресурсов по требованию (коммерческий грид, англ. enterprise grid) — обычные коммерческие приложения работают на виртуальном компьютере, который, в свою очередь, состоит из нескольких физических компьютеров, объединённых с помощью грид-технологий.

Термин «грид-вычисления» появился в начале 1990-х годов как метафора, демонстрирующая возможность простого доступа к вычислительным ресурсам как и к электрической сети (англ. power grid) в сборнике под редакцией Иэна Фостера и Карла Кессельмана «The Grid: Blueprint for a new computing infrastructure».

Использование свободного времени процессоров и добровольного компьютинга стало популярным в конце 1990-х годов после запуска проектов добровольных вычислений GIMPS в 1996 году, distributed.net в 1997 году и SETI@home в 1999 году. Эти первые проекты добровольного компьютинга использовали мощности подсоединённых к сети компьютеров обычных пользователей для решения исследовательских задач, требующих больших вычислительных мощностей.

Идеи грид-системы (включая идеи из областей распределённых вычислений, объектно-ориентированного программирования, использования компьютерных кластеров, веб-сервисов и др.) были собраны и объединены Иэном Фостером^[англ.], Карлом Кессельманом^[англ.] и Стивом Тукке (Steve Tuecke), которых часто называют отцами грид-технологии.^[1] Они начали создание набора инструментов для грид-компьютинга Globus Toolkit^[англ.], который включает в себя не только инструменты менеджмента вычислений, но и инструменты управления ресурсами хранения данных, обеспечения безопасности доступа к данным и к самому гриду, мониторинга использования и передвижения данных, а также инструментарий для разработки дополнительных грид-сервисов. В настоящее время этот набор инструментария является де факто стандартом для построения инфраструктуры на базе технологии грид, хотя на рынке существует множество других инструментариев для грид-систем как в масштабе предприятия, так и в глобальном.

Грид-технология применяется для моделирования и обработки данных в экспериментах на Большом адронном коллайдере (грид используется и в других задачах с интенсивными вычислениями). На платформе BOINC в настоящее время ведутся активные вычисления более 60 проектов. Например, проект Fusion (юг Франции, разработка метода получения электричества с помощью термоядерного синтеза на экспериментальном реакторе ITER) также использует грид (EDGeS@Home). Под названием CLOUD начат проект коммерциализации грид-технологий, в рамках которого небольшие компании, институты, нуждающиеся в вычислительных ресурсах, но не могущие себе позволить по тем или иным причинам иметь свой суперкомпьютерный центр, могут покупать вычислительное время грида.^[4]

Грид-система ЦЕРНа, предназначенная для обработки данных, получаемых с Большого адронного коллайдера, имеет иерархическую структуру.^[4]

Самая верхняя точка иерархии, нулевой уровень — CERN (получение информации с детекторов, сбор «сырых» научных данных, которые будут храниться до конца работы эксперимента). За первый год работы планируется собрать до 15 петабайт (тысяч терабайт) данных первой копии.

Первый уровень, Tier1 — хранение второй копии этих данных в других уголках мира (12 центров: в России, Италии, Испании, Франции, Скандинавии, Великобритании, США, на Тайване, а один центр первого уровня — CMS Tier1 — в ЦЕРНе). 26 марта 2015 года новый центр открылся в Лаборатории информационных технологий в Дубне (ОИЯИ)^[5]. Центры обладают значительными ресурсами для хранения данных.

Tier2 — следующие в иерархии, многочисленные центры второго уровня. Наличие крупных ресурсов для хранения данных не обязательно; обладают хорошими вычислительными ресурсами. Российские центры: в Дубне (ОИЯИ), три центра в Москве (НИИЯФ МГУ, ФИАН, ИТЭФ), Троицке (ИЯИ), Протвино (ИФВЭ), Санкт-Петербурге (СПбГУ)^[6] и Гатчине (ПИЯФ). Кроме того, в единую сеть с этими центрами связаны и центры других стран — участниц ОИЯИ — в Харькове, Минске, Ереване, Софии, Баку и Тбилиси.

Более 85 % всех вычислительных задач Большого адронного коллайдера по состоянию на 2010 год выполнялось вне ЦЕРНа, из них более 50 % — на центрах второго уровня.^[4]

• Добровольные вычисления
• Sun Grid Engine
• Облачные вычисления
• Виртуализация серверов
• Open Grid Forum^[англ.]

• http://www.ict.nsc.ru/jspui/bitstream/ICT/538/1/Grid.2004-11-29.pdf Архивная копия от 20 января 2022 на Wayback Machine
• http://omega.sp.susu.ru/books/grid/%D0%A4%D0%BE%D1%81%D1%82%D0%B5%D1%80%D0%9A%D0%A2%2001.pdf Архивная копия от 20 января 2022 на Wayback Machine
• https://www.osp.ru/os/2003/01/182393 Архивная копия от 20 сентября 2020 на Wayback Machine
• http://egee.pnpi.nw.ru/doc/pp-832.pdf Архивная копия от 20 января 2022 на Wayback Machine
• https://www.osp.ru/os/2013/08/13037859 Архивная копия от 3 марта 2022 на Wayback Machine
• Davies, Antony^[англ.]. Computational Intermediation and the Evolution of Computation as a Commodity (англ.) // Applied Economics : journal. — 2004. — June. Архивировано 28 февраля 2008 года.
• Foster, Ian^[англ.]; Kesselman, Carl^[англ.]. The Grid: Blueprint for a New Computing Infrastructure (англ.). — Morgan Kaufmann Publishers, 1998. — ISBN 978-1-55860-475-9.
• Plaszczak, Pawel; Wellner, Richard, Jr. Grid Computing "The Savvy Manager's Guide" (англ.). — Morgan Kaufmann Publishers, 2005. — ISBN 9780127425030.
• Berman, Fran^[англ.]; Hey, Anthony^[англ.], Fox, Geoffrey C.^[англ.]. Grid Computing: Making The Global Infrastructure a Reality (англ.). — Wiley, 2003. — ISBN 978-0-470-85319-1.
• Li, Maozhen; Baker, Mark A. The Grid: Core Technologies (англ.). — Wiley, 2005. — ISBN 978-0-470-09419-8.
• Catlett, Charlie^[англ.]; Smarr, Larry^[англ.]. Metacomputing (англ.) // Communications of the ACM : journal. — 1992. — June (vol. 35, no. 6). — doi:10.1145/129888.129890..
• Buyya, Rajkumar^[англ.]. Grid Computing: Making the Global Cyberinfrastructure for eScience a Reality (англ.) // CSI Communications : journal. — Mumbai, India: Computer Society of India (CSI), 2005. — July (vol. 29, no. 1). Архивировано 28 февраля 2006 года.
• Stockinger, Heinz; et al. Defining the Grid: A Snapshot on the Current View (англ.) // The Journal of Supercomputing^[англ.]. — 2007. — March.
• Черняк, Леонид. Распределённые вычисления, GRID-технологии или кластеры? (рус.) // Открытые Системы : журнал. — 2004. — Апрель (т. 4, № 4).
• Ривкин, Марк. Платформа для коммерческих GRID (рус.) // Открытые Системы. — 2003. — Декабрь (т. 12, № 12).

• Smith, Roger Grid Computing: A Brief Technology Analysis  (неопр.). CTO Network Library (2005). Дата обращения: 2 декабря 2020. Архивировано 5 марта 2022 года.
• Berstis, Viktors Fundamentals of Grid Computing  (неопр.). IBM. Дата обращения: 15 февраля 2008. Архивировано из оригинала 21 октября 2016 года.
• Ferreira, Luis; et.al.: Grid Computing Products and Services  (неопр.). IBM. Архивировано 18 февраля 2012 года.
• Ferreira, Luis; et.al.: Introduction to Grid Computing with Globus  (неопр.). IBM. Архивировано 18 февраля 2012 года.
• Jacob, Bart; et.al.: Enabling Applications for Grid Computing  (неопр.). IBM. Архивировано 18 февраля 2012 года.
• Ferreira, Luis; et.al.: Grid Services Programming and Application Enablement  (неопр.). IBM. Дата обращения: 15 февраля 2008. Архивировано из оригинала 12 февраля 2016 года.
• Jacob, Bart; et.al.: Introduction to Grid Computing  (неопр.). IBM. Архивировано 18 февраля 2012 года.
• Ferreira, Luis; et.al.: Grid Computing in Research and Education  (неопр.). IBM. Архивировано 18 февраля 2012 года.
• Ferreira, Luis; et.al.: Globus Toolkit 3.0 Quick Start  (неопр.). IBM. Дата обращения: 15 февраля 2008. Архивировано из оригинала 11 марта 2016 года.
• Surridge, Mike; et.al.: Experiences with GRIA – Industrial applications on a Web Services Grid  (неопр.). IEEE. Архивировано 18 февраля 2012 года.
• Global Grids and Software Toolkits: A Study of Four Grid Middleware Technologies
• AZGRID | Грид сегмент Института Физики НАН Азербайджана
• JRES| Java Remote Execution Service