SQL Server 2019 объединяет SQL Server и Apache Spark для создания единой платформы данных

Tags: SQL Server 2019, Azure, Always Encrypted, AlwaysOn, Microsoft

На днях на Ignite Microsoft анонсировала предварительный просмотр SQL Server 2019. В течение 25 лет SQL Server помогал предприятиям управлять всеми аспектами своих реляционных данных. В последних выпусках SQL Server вышел за рамки запросов реляционных данных, объединив графические и реляционные данные и доведя машинное обучение до данных с обучением и оценкой модели R и Python. По мере увеличения объема и разнообразия данных клиентам необходимо легко интегрировать и анализировать данные по всем их типам.

Теперь, впервые, SQL Server 2019 создает единую платформу данных с Apache SparkTM и распределенной файловой системой Hadoop (HDFS), упакованную вместе с SQL Server, как единое интегрированное решение. Благодаря возможности создания больших кластеров данных SQL Server 2019 обеспечивает невероятное расширение возможностей управления базами данных, что еще больше переопределяет SQL Server за пределами традиционной реляционной базы данных. Как и в каждом выпуске, SQL Server 2019 продолжает расширять границы безопасности, доступности и производительности для каждой рабочей нагрузки с помощью Intelligent Query Processing, инструментов обеспечения соответствия данным и поддержки постоянной памяти. С SQL Server 2019 вы можете использовать любой проект данных, от традиционных рабочих нагрузок SQL Server, таких как OLTP, Data Warehousing и BI, до AI и расширенной аналитики по большим данным.

SQL Server представляет собой настоящую гибридную платформу с совместимой областью SQL Server от вашего центра обработки данных до общедоступного облака, что упрощает ее работу в выбранном вами месте. Поскольку большие кластеры данных SQL Server 2019 развернуты как контейнеры на Кубернете со встроенной службой управления, клиенты могут получать последовательное управление и развертывание на различных поддерживаемых платформах как локально, так и в облаке: OpenShift или Kubernetes в помещениях, Azure Kubernetes Service (AKS), Azure Stack (на AKS) и OpenShift на Azure. Благодаря мобильности лицензии Azure Hybrid Benefit вы можете запускать рабочие нагрузки SQL Server на месте или в Azure на долю стоимости любого другого облачного провайдера.

На днях на Ignite Microsoft анонсировала предварительный просмотр SQL Server 2019. В течение 25 лет SQL Server помогал предприятиям управлять всеми аспектами своих реляционных данных. В последних выпусках SQL Server вышел за рамки запросов реляционных данных, объединив графические и реляционные данные и доведя машинное обучение до данных с обучением и оценкой модели R и Python. По мере увеличения объема и разнообразия данных клиентам необходимо легко интегрировать и анализировать данные по всем их типам.

Теперь, впервые, SQL Server 2019 создает единую платформу данных с Apache SparkTM и распределенной файловой системой Hadoop (HDFS), упакованную вместе с SQL Server, как единое интегрированное решение. Благодаря возможности создания больших кластеров данных SQL Server 2019 обеспечивает невероятное расширение возможностей управления базами данных, что еще больше переопределяет SQL Server за пределами традиционной реляционной базы данных. Как и в каждом выпуске, SQL Server 2019 продолжает расширять границы безопасности, доступности и производительности для каждой рабочей нагрузки с помощью Intelligent Query Processing, инструментов обеспечения соответствия данным и поддержки постоянной памяти. С SQL Server 2019 вы можете использовать любой проект данных, от традиционных рабочих нагрузок SQL Server, таких как OLTP, Data Warehousing и BI, до AI и расширенной аналитики по большим данным.

SQL Server представляет собой настоящую гибридную платформу с совместимой областью SQL Server от вашего центра обработки данных до общедоступного облака, что упрощает ее работу в выбранном вами месте. Поскольку большие кластеры данных SQL Server 2019 развернуты как контейнеры на Кубернете со встроенной службой управления, клиенты могут получать последовательное управление и развертывание на различных поддерживаемых платформах как локально, так и в облаке: OpenShift или Kubernetes в помещениях, Azure Kubernetes Service (AKS), Azure Stack (на AKS) и OpenShift на Azure. Благодаря мобильности лицензии Azure Hybrid Benefit вы можете запускать рабочие нагрузки SQL Server на месте или в Azure на долю стоимости любого другого облачного провайдера.

 

SQL Server - понимание всех ваших данных

SQL Server продолжает использовать открытый исходный код: от поддержки SQL Server 2017 для Linux и контейнеров до SQL Server 2019, который теперь охватывает Spark и HDFS, чтобы предоставить вам единую платформу данных. С SQL Server 2019 все компоненты, необходимые для выполнения аналитики по вашим данным, встроены в управляемый кластер, который легко развертывается и может масштабироваться в соответствии с потребностями вашего бизнеса. HDFS, Spark, Knox, Ranger, Livy поставляются все вместе с SQL Server и быстро и легко развертываются как контейнеры Linux на Kubernetes. SQL Server упрощает управление всеми вашими корпоративными данными, устраняя любые барьеры, существующие в настоящее время между структурированными и неструктурированными данными.

Вот как SQL Server 2019 облегчает преодоление барьеров для понимания всех данных, обеспечивая одно представление данных по всей организации:

  • Упростите аналитику больших данных для пользователей SQL Server. SQL Server 2019 упрощает управление средами больших данных. Он поставляется со всем необходимым для создания озера данных, включая HDFS и Spark, предоставляемые Microsoft и инструментами аналитики, которые полностью интегрированы с SQL Server и полностью поддерживаются Microsoft. Теперь вы можете запускать приложения, аналитику и AI по структурированным и неструктурированным данным - используя знакомые запросы T-SQL, а те, кто знаком со Spark, могут использовать Python, R, Scala или Java для запуска Spark-заданий для подготовки или анализа данных - все это в тот же, интегрированный кластер.
  • Дайте разработчикам, аналитикам данных и инженерам данных один источник для всех ваших данных - структурированных и неструктурированных - используя их любимые инструменты. С SQL Server 2019 ученые по данным могут легко анализировать данные в SQL Server и HDFS с помощью Spark-заданий. Аналитики могут запускать расширенную аналитику по большим данным с помощью служб машинного обучения SQL Server: тренировать большие массивы данных в Hadoop и работать в SQL Server. Ученые по данным могут использовать новый блокнот, работающий на движке Jupyter для блокнотов, в новом расширении Azure Data Studio, чтобы интерактивно выполнять расширенный анализ данных и легко делиться анализом со своими коллегами.
  • Разбивайте силосы данных и предоставляйте один вид во всех ваших данных, используя виртуализацию данных. Начиная с SQL Server 2016, PolyBase разрешил вам запускать запрос T-SQL внутри SQL Server, чтобы извлекать данные из вашего озера данных и возвращать его в структурированном формате - все это без перемещения или копирования данных. Теперь в SQL Server 2019 эта концепция виртуализации данных расширена до дополнительных источников данных, включая Oracle, Teradata, MongoDB, PostgreSQL и другие. Используя новый PolyBase, вы можете разбить хранилища данных и легко объединить данные из многих источников с помощью виртуализации, чтобы избежать времени, усилий, рисков безопасности и дублировать данные, созданные путем перемещения и тиражирования данных. Новые эластично масштабируемые «пулы данных» и «подсчеты пулов» позволяют быстро запрашивать освещение виртуализированных данных путем кэширования данных и распределения выполнения запросов во многих экземплярах SQL Server.

«С момента своего создания база данных Sloan Digital Sky Survey запускается на SQL Server, а SQL Server также хранит каталоги объектов из крупных космологических симуляций. Мы в восторге от обещания больших кластеров данных SQL Server 2019, которые позволят нам расширить наши базы данных, включив в них все наши большие наборы данных. Распределенный характер SQL Server 2019 позволяет нам расширить наши усилия по новым типам моделирования и следующему поколению астрономических съемок с наборами данных до 10 ПБ или более, что выходит за рамки наших современных решений для баз данных ». - Д-р Джерард Лемсон , Институт интенсивной инженерии и науки, Университет Джона Хопкинса.

Повышенная производительность, безопасность и доступность

Реляционный движок SQL Server 2019 будет предоставлять новые и расширенные функции в областях критически важной производительности, безопасности и соответствия требованиям, а также наличия базы данных, как и дополнительных возможностей для разработчиков, SQL Server в Linux и контейнерах и общих улучшений движка.

Ведущая производительность - Интеллектуальная база данных

- Семейство функций Intelligent Query Processing построено на функциях автоматической настройки производительности Adaptive Query Processing в SQL Server 2017, включая обратную связь с памятью в режиме Row, приблизительный COUNT DISTINCT, пакетный режим в rowstore и отложенную компиляцию переменной таблицы.

- В этой версии улучшена поддержка постоянной памяти с новым, оптимизированным каналом ввода-вывода, доступным для взаимодействия с постоянным хранилищем данных.

- Легкая инфраструктура профилирования запросов теперь включена по умолчанию для предоставления статистики оператора запроса в любое время и в любом месте, где она вам нужна.

Расширенная безопасность - конфиденциальные вычисления

- Always Encrypted с помощью защищенных анклавов расширяет технологию шифрования на стороне клиента, внедренную в SQL Server 2016. Защищенные анклавы защищают конфиденциальные данные в аппаратном или программном анклаве внутри базы данных, защищая ее от вредоносных программ и привилегированных пользователей, обеспечивая при этом расширенные операции с зашифрованными данными.

- SQL Data Discovery и Classification теперь встроены в механизм SQL Server с новыми метаданными и аудиторской поддержкой, чтобы помочь с GDPR и другими требованиями соответствия.

- Certification Management теперь проще с помощью диспетчера конфигурации SQL Server.

Критически важная доступность - высокая работоспособность

- Группы Always On Availability были расширены, чтобы включить автоматическое перенаправление подключений к первичному выражению, основанное на намерении чтения/записи.

- Конфигурации высокой доступности для SQL Server, запущенные в контейнерах, могут быть включены с помощью групп Always On Availability с использованием Kubernetes.

- Возобновляемые онлайн-индексы теперь поддерживают операции создания и включают по умолчанию значения для базы данных.

Опыт разработчиков

- Улучшения в SQL Graph включают поддержку совпадения с T-SQL MERGE и ограничениями границ.

- Новая поддержка UTF-8 дает заказчикам возможность уменьшить объем хранилища SQL Server для символьных данных.

- Новое расширение языка Java позволит вам вызывать предварительно скомпилированную Java-программу и безопасно выполнять Java-код на одном сервере с SQL Server. Это уменьшает необходимость перемещения данных и повышает производительность приложений, приближая ваши рабочие нагрузки к вашим данным.

- Сервисы машинного обучения имеют несколько улучшений, включая поддержку отказоустойчивого кластера Windows, разделенные модели и поддержку SQL

Платформа выбора

- Дополнительные возможности для SQL Server для Linux включают распределенные транзакции, репликацию, Polybase, услуги машинного обучения, уведомления о памяти и поддержку OpenLDAP.

- Усовершенствованы контейнеры, включая использование нового реестра Microsoft Container с поддержкой обращений RedHat Enterprise Linux и групп Always On Availability для Kubernetes.

Поддержка SQL Server 2019 в Azure Data Studio

Расширенная поддержка большего объема данных в SQL Server требует расширенного инструментария. По мере того, как Microsoft работала с пользователями своей платформы данных, мы видели, как собираются ранее несопоставимые персоны: администраторы баз данных, ученые по данным, разработчики данных, аналитики данных и новые роли, которые все еще определяются. Эти пользователи все больше хотят использовать одни и те же инструменты для совместной работы: бесшовно, через локальные и облачные сети, используя реляционные и неструктурированные данные, работая с OLTP, ETL, аналитикой и потоковыми рабочими нагрузками.

Azure Data Studio предлагает современный редактор с быстрым IntelliSense, фрагментами кода, интеграцией с источником и интегрированным терминалом. Он разработан с учетом потребностей пользователей платформы данных, со встроенным графическим отображением наборов результатов запросов, встроенным ноутбуком и настраиваемыми панелями мониторинга. Azure Data Studio в настоящее время предлагает встроенную поддержку SQL Server on-space и Azure SQL Database, а также поддержку предварительного просмотра для Azure SQL Managed Instance и Azure SQL Data Warehouse.

Azure Data Studio сегодня открывает новый предварительный просмотр SQL Server 2019 для добавления поддержки для некоторых функций SQL Server 2019. Расширение предлагает возможности подключения и инструментальные средства для больших кластеров данных SQL Server, включая предварительный просмотр первого опыта работы с блокнотом в наборе инструментов SQL Server и новый мастер создания внешней таблицы PolyBase Create, который позволяет легко и быстро получать доступ к данным из удаленных экземпляров SQL Server и Oracle



No Comments

Add a Comment