Системное распределение: невидимый каркас интернета и Блокчейн

Ты знаешь? За теми сетями, блокчейнами и облачными сервисами, которые ты используешь, стоит одна и та же логика — распределенная система. Проще говоря, это означает, что большая задача делится между несколькими компьютерами, которые работают одновременно, а затем они общаются друг с другом для достижения цели. Звучит несложно, но эта штука поддерживает весь интернет.

Что такое распределенная система?

Представьте, что вам нужно обработать 10 миллиардов транзакционных данных. Одному компьютеру потребуется уйма времени. Но если вы разделите данные на 100 частей и дадите 100 компьютерам обработать их одновременно, вы справитесь за 1/100 времени. Это и есть основная логика распределенной системы — параллельная обработка, распределение нагрузки.

Система распределенная включает три ключевых части:

1. Несколько независимых узлов

Каждый компьютер является узлом, может работать независимо, а также взаимодействовать друг с другом. Как в пчелином улье, каждая пчела имеет свою задачу, но при этом работает в тесной координации.

2. Слой сетевой коммуникации

Узлы обмениваются информацией через сетевые протоколы (TCP/IP, HTTP и т. д.). Это критически важно — если связь выходит из строя, вся система может парализоваться.

3. Промежуточное ПО

Ответственный за координацию работы различных узлов, чтобы обеспечить их согласованность.

Почему все используют распределенные технологии?

Преимущества зашкаливают:

• Высокая производительность: несколько компьютеров работают, скорость достигает небес.
• Высокая отказоустойчивость: если один компьютер выйдет из строя, остальные продолжат работать, система не рухнет.
• Масштабируемость: Пользователей стало больше? Просто добавьте компьютер, не нужно полностью перестраивать.
• Высокая доступность: круглосуточное обслуживание 7×24

Например, в сети Биткойн тысячи узлов по всему миру одновременно проверяют транзакции, и ни один отдельный узел не может повлиять на всю сеть. Это и есть распределенная устойчивость.

Но недостатки тоже очевидны:

• Сложность координации: Множество узлов необходимо синхронизировать информацию, что может привести к несоответствию данных.
• Высокая сложность: огромные затраты на проектирование и обслуживание, требуется профессиональный персонал
• Риск взаимной блокировки: При конкуренции процессов за ресурсы они могут легко ожидать друг друга, что приводит к зависанию.

Какие распределенные системы существуют в реальной жизни?

Блокчейн (конечная распределенная)

Все функции, которые вы хотите, он имеет — децентрализованный, высоко безопасный, защищенный от изменений. Реестр распределен по глобальным узлам, и у каждого узла есть полная копия. Хакеры должны атаковать более 51% узлов, чтобы обмануть, и стоимость этого будет бесконечно высокой.

Поисковая система

Google использует тысячи серверов для распределенного сканирования веб-страниц, создания индексов и обработки запросов. В момент, когда вы ищете, возможно, задействовано 100 компьютеров на серверной стороне.

Социальная медиа платформа

Данные пользователей Facebook и Twitter распределены по различным дата-центрам по всему миру, если один выходит из строя, другие его заменяют.

Облачные вычисления

AWS, Azure являются распределенными. Ваш облачный сервер на самом деле является виртуальной машиной в каком-то дата-центре, в основе которых работают распределенное хранение и вычисления.

Какие типы распределённых систем существуют?

1. Клиент-серверная модель

Ваш браузер является клиентом, а сервер сайта — сервером. Наиболее распространенная архитектура.

2. P2P-сеть

Каждый узел является и клиентом, и сервером. Модель, используемая для загрузки BitTorrent и хранения IPFS. Нет централизованного сервера, теоретически сложнее контролировать.

3. Распределенная база данных

Таблицы баз данных распределены на нескольких машинах. Заказная база данных электронной коммерции и база данных пользователей социальной сети хранятся таким образом, что требуется высокая доступность и быстрая реакция.

4. Смешанный

Объединение различных архитектур. Например, некоторые проекты Web3 используют P2P для хранения данных и предоставляют интерфейс запросов по модели клиент-сервер.

Основные характеристики, которые ты должен понять

Параллелизм

Несколько задач выполняются одновременно. Преимущества заключаются в высокой эффективности, недостатки в том, что легко могут возникнуть состояния гонки (race condition) и взаимные блокировки.

Масштабируемость

Добавление узлов может линейно повысить производительность (в идеальных условиях). На практике будут сетевые узкие места.

Устойчивость к ошибкам

Частичные неисправности не приведут к полной недоступности системы. Это достигается за счет избыточности, резервного копирования и переключения на резервные системы.

Согласованность данных

Это самое сложное. Как гарантировать, что все копии будут一致ны, когда несколько узлов одновременно изменяют данные? Блокчейн решает эту проблему с помощью доказательства работы, а распределенная база данных решает ее с помощью двухфазной фиксации или окончательной согласованности.

Прозрачность

Пользователь не ощущает, что система распределенная, как будто использует один компьютер. Это требует тщательной проектировки.

Будущие тенденции

Кластерные вычисления становятся все дешевле, обработка больших данных и обучение ИИ движутся в сторону распределенных систем. Полевые вычисления приближают вычисления к пользователям, снижая задержки. Облачная нативная архитектура упрощает развертывание и управление распределенными системами.

Нижняя линия: распределенные системы уже не будущее, а настоящее. От того, как вы пользуетесь телефоном, до добычи Блокчейн, распределенное все время тихо поддерживает. Понять это — значит понять суть интернета.