В чем разница между данными из OBS и HDFS?

Источником данных, обрабатываемых сервисом MRS, является OBS или HDFS. Сервис OBS предоставляет высокие возможности хранения данных по низкой цене. Использовать и просматривать данные можно с помощью консоли или клиента OBS. Кроме того, применяется REST API для управления данными или доступа к ним. REST API можно использовать как отдельно, так и интегрировать его с сервисными программами.

Разница между OBS или HDFS следующая:

  • Хранение данных в сервисе OBS. Хранение и вычисление данных выполняются отдельно. Хранение данных в OBS отличается низкой стоимостью и неограниченной емкостью хранения. Данные в любое время могут быть удалены. Вычислительная производительность определяется доступом к OBS и обычно ниже, чем у HDFS. OBS рекомендуется использовать в тех случаях, когда вычисление данных происходит нечасто.

  • Хранение данных в HDFS. Хранение и вычисление данных выполняются вместе. Хранение данных в HDFS отличается высокой стоимостью и ограниченной емкостью хранилища, но и высокой вычислительной производительностью. Перед завершением работы кластеров необходимо экспортировать данные для хранения. HDFS рекомендуется использовать, когда вычисление данных происходит часто.

Масштабная конференция
GoCloud 2024:
облачные грани будущего