先大致了解Google Cloud Platform服務有哪些?

Google Cloud Platform(Google 雲端服務平台)擁有5大類型的服務:

  1. Computing and hosting
  2. Storage
  3. Networking
  4. Big data
  5. Machine learning

我們可以從官方網站看到這些服務方向,對各位資料分析師而言,最熟悉的不外乎是Big Data大數據分析服務與Machine Learning服務!我們初步可以從這兩大服務了解開始,有助於快速勾勒出過去所學習的各種資料分析技術。

本文主要彙整Google Cloud Platform(Google 雲端服務平台)的Big Data大數據分析服務與Machine Learning服務,這將會是資料分析師入門Google Cloud Platform的快速方法。

Big Data

GCP目前提供了3大Big Data服務,分為資料分析(Data Analysis)、Batch and Streaming Data Processing與 Asynchronic Message。

一、資料分析(Data Analysis) – 運用BigQuery服務

只要曾經是SQL的使用者,一定能快速上手BigQuery服務,基本上我們可以把它視為資料庫服務,且是可以儲存大數據的資料庫。我們可以在BigQuery服務做以下事情:

  1. 可以製作各種Schema去組織不同類型的資料集(datasets)與表格(tables),例如:以銀行業務為例,信用卡單位相關資料可以用CC關鍵字(取Credit Card的首字)命名Schema、客戶關係管理單位資料可以用CRM關鍵字(取Customer Relation Management的首字)命名Shema。
  2. 可以從各大資料源匯入資料,且它能與Google現有許多服務的串接更容易。
  3. SQL-Like語法,所以對於常使用SQL的資料分析師而言,這部分就更不成問題。
  4. 各種介面可以連結至BigQuery服務,有Web UI、Command-line介面或是使用API。
  5. 用JOB來監控各種執行工作,包含Load、Query、Export、和Copy Data

二、Batch and Streaming Data Processing – 運用Cloud Data Flow服務

我們過去常聽到的ETL工作 (extract-transform-load),就會在Google Cloud Platform的Cloud Data Flow服務中執行,各種平台資料來源的導入、資料清洗或各種彙整,即可利用Cloud Data Flow服務來監控與安排所有工作,如此一來還能進一步在BigQuery上進行資料分析。

三、Asynchronic Message – 運用Cloud Pub/Sub

此資料分析的應用功能主要是在完成某項運算時,如果業務需求希望能發出訊息通知相關人員。此應用服務不局限於一定要用在大數據上面。

Machine Learning

這會是資料分析師最有興趣的部分,Google Cloud Platform目前提供了6大API使用服務與和Cloud ML Engine – 已與Tensorflow整合的平台,能方便讓資料分析人員上手各種流行的數據分析最新技術應用,且在時下最夯的AI運算架構Tensorflow上執行。很棒的是,針對不同的資料分析使用者,各種API服務都有包含pre-train(預先訓練好的模型),或者我們也可以利用自己的大數據資料import上來,訓練屬於我們自己要的分析模型。API服務領域包含Google Cloud Video Intelligence影音智慧辨識Google Cloud Speech API語音轉文字技術、Google Cloud Vision API圖片辨識、Google Natural Language API自然語言處理、Google Cloud Translation API多國語言翻譯、Dialogflow Enterprise Edition

一、ML API

Google Cloud Video Intelligence API

顧名思義,此服務是可以對影音資料作進一步的分析應用,我們可以放入.MOV、.MPEG4、.MP4和.AVI影音檔案,並實現各種分析應用,如下所列:

1.Label Detection: 偵測影音中有哪些物件,例如狗、貓、花、人類等。

2.Explicit Content Detection: 偵測影片中人都在說什麼。

3.Shot Change Detection: 偵測影音中是否有場景變化。

4.Regionalization: Specify a region where processing will take place.

5.Speech Transcription (Beta): 把演講內容轉換成文字。

 

Google Cloud Speech API

這部份目前看起來與Speech Transcription (Beta):的功能很像,但可以運用在自行開發的程式之中,例如:過去Chatbot聊天機器人只有文字對談的功能,我們可以利用Google Cloud Speech API即時把文字內容改以語音的方式,讓聊天機器人功能更具生動。

Google Cloud Vision API

現今AI世代的蓬勃發展,我們常聽到的『人臉辨識』,抑或者是各種圖片的標籤、商標都可以利用此技術進行運用,Google Cloud Platform首席夥伴GCP專門家就製作了一個辨識柴犬與秋田的應用,有興趣也可以參考看看。

Google Natural Language API

這就是所謂的文本分析、輿情分析、語意分析的範疇,只要上傳文本就可以大致知道文本的語意傾向,筆者曾做了一個輿情分析的應用,應用於選情分析上,關心2018新北市長的選情狀況,有興趣也可以參考看看。

[政治大數據]從網路聲量與網路輿情看2018新北市長選舉:蘇貞昌與侯友宜網路聲量統計概覽

Google Cloud Translation API

顧名思義就是跨國的語言翻譯,此功能運用對於資料分析師來說非常有幫助,如果今天想要作國外的文本分析,就可以先透過此功能先將文本翻譯成熟悉的語言,便於進行後續的資料分析。

Dialogflow Enterprise Edition

現在各大企業都開始會希望能設計屬於自己的Chatbot聊天機器人,以幫助減少更多人力成本,此API功能看起來主要方便能與聊天機器人結合,如此一來能同時使用Google的語音辨識與文字辨識功能。

二、Cloud ML Engine

Cloud ML Engine整合了Google Cloud Platform的管理架構以及Tensorflow運算架構,Google Machine Learning的運算都需要以此Engine為基底才能進行許多複雜的演算法計算。不管是pre-train(預先訓練好的模型),或者我們也可以利用自己的大數據資料import上來,訓練屬於我們自己要的分析模型都是放在這個Cloud ML Engine上。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *