Azure Stream Analytics - это инструмент обработки событий, который позволяет пользователям анализировать большие объемы потоковой передачи данных с устройств, датчиков и приложений. Аналитика Azure Stream Analytics может использоваться для аналитики в режиме реального времени в Интернете (IoT), контроля удаленного мониторинга и управления запасами данных. Однако Azure Stream Analytics является еще одним компонентом Azure, и на нем удалось запустить Machine Learning. Существует возможность использовать API-модели машинного обучения, созданные в Azure ML Studio внутри Azure Stream Analytics, с целью применения машинного обучения для потоковой передачи данных, поступающих с датчиков, приложений и баз данных в реальном времени. В этом посте и следующем, мы покажем, как использовать машинное обучение внутри Azure Stream Analytics. Во-первых, будет представлено небольшое введение в Azure Stream Analytics. Затем будет показан простой пример API Azure ML Studio, который будет применяться к данным потока.

Среда Azure Stream Analytics

Azure Stream Analytics - это компонент обработки событий в среде Azure. Чтобы создать Azure Stream Analytics, необходимо войти в учетную запись Azure и создать задание Stream Analytics.

После создания задания Stream Analytics в Azure вам необходимо настроить некоторые предопределенные параметры, такие как имя задания, подписка, группа ресурсов и т. д. Stream Analytics похожа на сервисную шину внутри Azure, способную извлекать данные из некоторых компонентов и применять некоторую аналитику полученных данных и передавать ее другим компонентам. В результате среда аналитики потока содержит три основных компонента: вход, выход и запрос. Stream Analytics позволяет получать данные только из трех основных компонентов: Event Hub, IoT Hub и Blob Storage. Эти три компонента в основном используются для сбора данных от внешних датчиков, приложений и живых API. Stream Analytics позволяет передавать данные еще нескольким компонентам Azure, таким как Blob Storage, база данных Azure SQL, Power BI и т. д. Наконец, последним важным компонентом является Query Editor, который помогает пользователям применять некоторые аналитики к полученным данным, прежде чем отправлять их на вывод.

Язык, который используется в Stream Analytics, представляет собой язык запросов потоковой аналитики, похожий на SQL Scripting.

Примеры использования

Мы покажем, как получить данные из приложения через Event Hub, затем передать собранные данные в Stream Analytics, использовать машинное обучение и затем покажем результат в Power BI Services.

Этот процесс был объяснен на приведенном выше рисунке. Как вы можете видеть на схеме, есть приложение, которое отправляет данные в реальном времени в Event Hub, Stream Analytics получает данные в реальном времени, применяет модель Azure ML API по полученным данным, а затем отправляет ее для Power BI. В отчете Power BI конечный пользователь может видеть текущие данные, находящиеся рядом с результатом машинного обучения, который применялся к нему.

Event Hub

Первым шагом будет создание службы Event Hub в облаке. Чтобы создать службу Event Hub, выполните один и тот же процесс для создания аналитики потока. Создайте новый сервис и предоставьте некоторую информацию.

Когда вы создаете службу Event Hubs, вы можете добавить новый Event Hub для своей службы.

Приложение

Второй шаг - создать приложение, которое генерирует некоторые выборочные данные. Приложение является образцом приложения .Net framework, которое автоматически генерирует некоторые случайные данные.

Azure Stream Analytics

Первым шагом будет создание задания Stream Analytics Job в Azure.

После создания Stream Analytics необходимо настроить его на ввод, вывод и запрос. Как уже упоминалось ранее, Stream Analytics позволяет получать данные из трех основных компонентов Azure, а затем передает данные потока другим ресурсам, таким как Power BI, SQL Database и т. д. Запрос преобразования использует SQL-подобный язык запросов, который используется для фильтрации, сортировки, агрегации и объединения потоков данных за определенный промежуток времени.

В этом случае мы собираемся получить данные из Event Hub, а затем применить машинное обучение на нем, а затем передать его в Power BI, чтобы просмотреть данные в реальном времени с помощью прикладной аналитики.

Чтобы создать ввод, выберите опцию Input на главной странице Stream Analytics. После создания аналитики Input для потока нам нужно создать Output, следуя тому же процессу. После создания ввода и вывода потока аналитики перед созданием запроса нам нужно настроить некоторые ключи и имя в коде. Нажмите на компоненты Stream Analytics, затем на Shared Access Policies. Нажмите на RootManageSharedAccessKey, затем скопируйте Primary Key.

Azure ML

В Azure ML Studio мы создали простую модель для группировки данных. Основная цель этой модели - получить данные из приложения, а затем сгруппировать их по четырем основным группам. Затем создайте API, чтобы аналитика потока могла передавать данные на него и получать номер группы и реальное значение. Импортируйте образцы данных, которые приложение будет генерировать. Затем перетащите и выберите «Select Columns in Dataset», чтобы выбрать столбец «Value». Наконец, используйте другое имя компонента Group Data into Bins.

Следуйте приведенным ниже инструкциям, чтобы создать API для этой модели.

Запустите модель, используя параметр «Run» в нижней части страницы.

Нажмите на Setup Page, чтобы создать ввод и вывод для API.

Затем запустите модель еще раз и нажмите «Deploy Web Service»

После создания веб-сервиса будет показана новая страница. На новой странице в середине страницы отображается ключ API для веб-службы.

Чтобы подключиться из Stream Analytics к Azure ML API, нам нужно щелкнуть APP (внизу страницы), затем щелкнуть по Excel 2010 или более ранней книге.

Будет загружена новая книга Excel. Откройте файл Excel, затем в верхней части страницы вы увидите URL-адрес Webservice и ключ доступа Access Key.

Скопируйте URL-адрес Webservice и ключ доступа.

Теперь у нас есть ключи и URL, нам нужно настроить функцию в Stream Analytics для доступа к созданной модели в Azure ML Studio.

В следующей статье я объясню, как создать функцию аналитики потока. и как применять Azure ML API для потоковых данных.

No Comments