Google выпускает Cloud Dataproc для Kubernetes в альфа-версии
Google Cloud Dataproc - это сервис обработки данных и аналитической обработки с открытым исходным кодом, основанный на Hadoop и Spark. Google объявил об альфа-доступности Cloud Dataproc для Kubernetes, чтобы повысить эффективность обработки данных на разных платформах.
Сервис Cloud Dataproc, как правило, доступен уже более трех лет и теперь предлагает альфа-доступ к заданиям Spark в Google Kubernetes Engine (GKE). Это означает, что разработчики и исследователи данных теперь могут запускать задания Apache Spark в кластерах GKE. Как правило, приложения Spark работают в кластерах Hadoop YARN; однако с Cloud Dataproc для Kubernetes пользователи будут иметь одно централизованное представление, которое может охватывать кластеры YARN и Kubernetes, и им не нужно будет управлять ими по отдельности. Кроме того, согласно сообщению в блоге, поддержка обоих кластеров даст предприятиям большую гибкость в модернизации конкретных гибридных рабочих нагрузок, продолжая мониторинг рабочих нагрузок на основе YARN.
Запуск Apache Spark в Kubernetes отличается от запуска в кластерах Hadoop на основе виртуальных машин, таких как служба CloudProc Dataproc или таких конкурентных предложений, как Amazon Web Services (AWS) Elastic MapReduce (EMR) и Microsoft Azure HDInsight (HDI). Apache Spark - это первый процессор обработки данных с открытым исходным кодом, который предоставляет Google Cloud Dataproc в Kubernetes. Кроме того, в Apache Flink, Presto и Apache Druid есть и другие аналитические компоненты с открытым исходным кодом. Облачные сервисы обработки данных или, как следствие, сервис Amazon Elastic Kubernetes Service (EKS) и Azure Kubernetes Services (AKS).
Мэтт Аслетт, вице-президент по исследованиям в 451 Research, сказал:
“Предприятия все чаще ищут продукты и услуги, которые поддерживают обработку данных в разных местах и на разных платформах. Запуск Cloud Dataproc в Kubernetes важен тем, что он предоставляет клиентам единую плоскость управления для развертывания и управления заданиями Apache Spark в Google Kubernetes Engine как в общедоступном облаке, так и в локальных средах”.
Клиенты, которые хотят попробовать Cloud Dataproc для Kubernetes, должны будут подать заявку на доступ по электронной почте Google. Кроме того, альфа-релиз предназначен только для тестирования и экспериментов. Более подробную информацию о Cloud Dataproc для Kubernetes можно найти в блоге How to Get Started.