О сервисе MapReduce Service¶
MapReduce Service (MRS) — надежная, безопасная и простая в использовании платформа корпоративного уровня для хранения, обработки и анализа больших данных.
Сервис основан на:
программном обеспечении с открытым исходным кодом Hadoop;
вычислительном механизме Spark in-memory;
столбцовой СУБД ClickHouse;
распределенной базе данных HBase и на хранилище данных Hive.
Вы можете самостоятельно использовать размещенные компоненты, такие как Hadoop, Spark, ClickHouse, HBase и Hive, для быстрого создания кластеров.
Отличительные особенности¶
- Простота в использовании
MRS не только поддерживает такие компоненты, как Hadoop, ClickHouse, HBase, Hive, Spark и Spark SQL, но и унифицированные интерфейсы взаимодействия SQL во всем процессе. Это упрощает разработку приложений, работающих с большими данными.
- Низкая стоимость
MRS не требуюет расходов на эксплуатацию и техническое обслуживание. Стоимость за вычисление рассчитывается отдельно от стоимости за хранение данных. Вычислительный кластер создается по мере необходимости, а после выполнения задания его можно удалить.
- Скорость и стабильность работы
MRS сокращает время, затрачиваемое на ввод в эксплуатацию и мониторинг кластеров, а также обеспечивает высокую надежность и доступность ресурсов.
- Открытость и доступность
MRS основан на открытом исходном коде и совместим с другими сервисами. Доступ к сервису можно получить через интерфейсы REST API и JDBC.
Платформа используется в следующих целях:
анализ и вычисление;
хранение;
потоковая обработка больших данных.
Процесс использования сервиса MRS можно представить следующим образом:
Загрузите программу и файлы с данными на облачную платформу.
В MapReduce Service создайте кластер с нужными параметрами и запустите задание.
Проверьте результат выполненного задания.
См.также