Hahow 好學校 打造動態報表！雲端 Python 爬蟲資料流
品牌: 「Hahow 好學校」 掌握「資料到產品」的完整流程
特賣 價格
NTD 2488 元
評價/特色/優點
自動更新資料的動態視覺化報表雲端系統建立完整資料流設計對應的爬蟲資料流
價格品牌網-熱門搜尋
| 品牌名稱 | |
|---|---|
| 類型 |
|
商品影片
Hahow 好學校｜線上有聲課程
※ 此為有聲課程，購買後請使用序號至《Hahow 好學校》官網兌換課程。
重要訊息，購買前請先詳閱
1. 本商品為數位商品，購買時請確認「數位商品無鑑賞期，課程兌換序號一經開通，恕不接收退換」。
2. 本商品採虛擬序號方式出貨，無實體物品。
3. 線上課程序號一經開通，即可隨時隨地，不限裝置，可無限次數暢聽。
4. 本序號統一由 momo 購物網於確認付款成功後 15 分鐘內，透過電子郵件或簡訊發送至會員帳號。
5. 請確實填寫手機號碼及妥善保管簡訊；為確保序號安全，取得序號後請立即開通。
6. 如未收到序號請電洽 momo 購物網客服。
7. 每組序號僅限使用一次，請勿重複輸入。
8. 開通後，不得以任何理由要求退費或按比例折讓；亦不得變更轉換為任何費率型式。
課程兌換序號開通 步驟說明
1. 完成購買後，系統將透過電子郵件或簡訊自動發送兌換序號至會員帳號。
2. 收到序號後，前往 Hahow 好學校官網（ https://hahow.in ），請完成登入 / 註冊會員。
3. 於官網首頁搜尋框中輸入課程名稱，找到您所購買的課程。
4. 開啟課程頁面，點選「馬上購買」。
5. 於結帳頁面點選「使用折扣代碼」，並輸入兌換序號，點選「同意並送出」。
6. 系統顯示「使用全額折扣代碼」，接著點選「兌換課程」，即完成兌換。
課程資訊
【 課程名稱 】：打造動態報表！雲端 Python 爬蟲資料流
【 課程簡介 】
雖然市面上的爬蟲課程琳瑯滿目，但從未有人告訴你要如何持續地自動爬取資料，以及如何將爬到的資料打造成會不斷更新數據的視覺化報表，讓資料變成產品，與人分享你的爬蟲成果！
學完本課程後，你將有能力獨自從 Python 爬蟲的開發，進入到利用雲端系統自動化的更新資料，並產出獨一無二的動態視覺化報表，真正掌握 “ 資料到產品 ” 的完整流程！
【 課程大綱 】
章節一：資料視覺化利器 - 用 Google Data Studio 快速建立資料報表
單元 1 - Goole Data Studio 介紹 - 輕鬆建立第一份視覺化報表
單元 2 - 將靜態資料串接到報表，建立表格、評量表、圓餅圖
單元 3 - 設計報表來擬定行銷策略！用日期控制器與使用者互動
單元 4 - 讓資料動起來！註冊和開始免費使用 google 雲端系統（GCP）服務
章節二：COVID-19 ① 》在 Colab 開發 Python 爬蟲，抓取 CSV 格式的 Open Data
單元 1 - 取得持續更新數據的 CSV 檔案 - COVID-19 Open Data
單元 2 - 雲端資料流的整體架構 - 1. 排程 2. 爬蟲 3. 儲存 4. 製作報表
單元 3 - 爬蟲原理介紹及 chrome 開發者工具教學
單元 4 - Python 開發環境介紹 - Google Colab 在雲端線上寫程式
單元 5 - 利用 pandas 套件將 COVID-19 的線上 CSV 檔案爬下來
單元 6 - pandas 語法 (I) 檢視表格類型的資料 - 常用指令 head、tail、shape、describe
單元 7 - pandas 語法 (II) 從表格挑選指定欄位、排序、列出邏輯與條件判斷式
單元 8 - pandas 語法 (III) groupby - 將資料依照欄位分組，再進行計算
單元 9 - 將原始資料的相同欄位合併，變成可作圖的 Tidy Data
章節三：COVID-19 ② 》建立雲端資料流 - 將爬蟲部署到雲端，自動化儲存與排程
單元 1 - 建立 cloud function 實現「線上呼叫與執行」程式
單元 2 - 利用 cloud function 將 COVID-19 的爬蟲程式部署到雲端
單元 3 - 在 cloud function 要先安裝套件，再 import pandas
單元 4 - 用 get 方法呼叫 cloud function，啟動爬蟲程式並回傳資料
單元 5 - 建立存放資料的 bucket，上傳檔案到雲端儲存 Cloud Storage
單元 6 - 先建立 client 驗證身分，再自動儲存檔案至 Cloud Storage
單元 7 - 利用 upload_blob 將爬下來的檔案自動儲存到 Cloud Storage
單元 8 - 爬蟲測試 - 檢查抓到的檔案，是否自動上傳至雲端
單元 9 - 自動化排程 Cloud Scheduler - 事先安排執行程式的頻率
單元 10 - 實現雲端系統自動化 - 回顧 COVID-19 資料流完整架構
章節四：COVID-19 ③ 》製作 Data Studio 動態報表，串接雲端資料流自動更新
單元 1 - data connector - 將持續更新的資料串接至 Data Studio
單元 2 - 疫情趨勢與分布 - 時間序列圖與 google 地圖的動態報表
單元 3 - 新增報表篩選器控制 - 讓使用者勾選或搜尋特定資料，與使用者互動的圖表
單元 4 - 在報表中加入多個資料源 - 確診、死亡、康復人數等
單元 5 - Animated bar chart - 隨時間自動變化的動態 bar 圖
單元 6 - COVID-19 互動趨勢、圓餅圖、動態地圖和動畫 bar 圖展示
章節五：鉅亨網財經媒體 ① 》開發 python 爬蟲抓取多篇網頁 HTML 原始碼
單元 1 - 打造台股戰情室！鉅亨網股市新聞與爬蟲目標
單元 2 - 用 chrome 開發者工具檢視瀏覽器行為，快速找到目標的 html 原始碼
單元 3 - 開發單篇新聞的爬蟲程式，利用 BeautifulSoup 套件解析網頁原始碼
單元 4 - 利用 meta 標籤，爬取新聞關鍵字資料
單元 5 - 以 csv 套件，將爬到的新聞資料寫入檔案中
單元 6 - 餵給爬蟲程式不同 url 標籤，一次爬取多筆新聞
單元 7 - 抓下多篇新聞網址 url 餵給爬蟲，並用 time.sleep 突破防爬蟲機制
單元 8 - 解析 json 資料，用 ajax 動態網頁技術取得換頁更新資料
單元 9 - 利用 ajax 取得完整股市新聞列表，萃取出多篇新聞網址
單元 10 - 變更 ajax API 網址的 timestamp 參數，取得最新時間區間資料
章節六：鉅亨網財經媒體 ② 》拆分資料流工作流程，控制與優化 GCP 成本
單元 1 - 工作流程拆分 - 利用微服務 micro service 將獨立的工作分開部署
單元 2 - 【建立微服務 I - 取得新聞列表】 並用 timestamp 時間戳記保存檔案
單元 3 - 【建立微服務 II - 爬取新聞內容】 改用 storage 作為觸發條件，用 download blob 下載檔案
單元 4 - Cloud Scheduler 排程 - 安排合理的更新頻率去啟動爬蟲
單元 5 - 回顧鉅亨網雲端爬蟲資料流的整體 GCP 架構設計
單元 6 - 看懂 GCP 價格表，精打細算管理成本與開銷
單元 7 - Cloud Storage 物件生命週期 - 自動轉換資料的儲存級別，節省開銷
章節七：鉅亨網財經媒體 ③ 》進階報表製作：自訂篩選器、嵌入外部網頁、熱門關鍵字文字雲
單元 1 - 串接台股新聞資料至 Data Studio - 連結 bucket 內多個檔案
單元 2 - 新增篩選器自訂標題、內文關鍵字，以及嵌入外部網頁
單元 3 - 製作台股文字雲 - 利用爬蟲抓取的新聞熱門關鍵字與出現次數
章節八：Youtube Data API ① 》開發 Python 爬蟲爬取 json 格式 Web API 資料
單元 1 - Web API 概念 - 透過網路提供各式各樣的應用服務
單元 2 - 啟用 Youtube Data API 權限，並建立專屬的 API 存取金鑰
單元 3 - 如何使用 API？說明書導覽 - API 存取資源、功能、指定傳送格式
單元 4 - API 測試工具 - 餵 channel ID 取得基本資訊與統計數據
單元 5 - API 使用額度 - 呼叫次數與頻率的 Quota 限制
單元 6 - 開發爬蟲程式爬取熱門頻道訂閱人數 & 累計觀看次數統計數據
單元 7 - 利用 RSS 取得影片列表和影片統計資訊
單元 8 - 開發影片統計數據爬蟲程式 - 爬取熱門頻道最新影片 & 互動資料
章節九：Youtube Data API ② 》無痛進行大數據分析，挖掘百萬筆資料下的寶藏
單元 1 - 將生產線分開 - 建立兩條獨立的「平行資料流」分別爬取頻道與影片資料
單元 2 - 換你設計 - 打造 Youtuber 頻道表現的統計數據資料流
單元 3 - 發布新影片了嗎？自動為頻道中每一支影片建立雲端數據資料流
單元 4 - 700 萬筆資料 1 秒鐘搞定 - 用 Google BigQuery 無痛進行高速雲端大數據分析
單元 5 - 將 Cloud Storage 儲存的數據串接至 Bigquery，並進行資料分析
單元 6 - Error Reporting 爬蟲監測服務 - 即時偵測與發送程式異常的警告通知
章節十：Youtube Data API ③ 》串接大數據分析資料至報表，定期發布商業分析報告
單元 1 - 串接資料至 Data Studio - 圖片呈現 & 表格熱度圖
作業 1 - 剖析影片成長速率，製作影片觀看數成長圖表
單元 2 - 串接大數據分析資料至 Data Studio - BigQuery data connector
單元 3 - 設定安排 Email 自動寄送動態報表服務，提供客戶最新情報！
單元 4 - 完整走過資料產品開發 - 善用雲端平台 GCP 優勢，培養資料流整體設計的眼光
章節十一：課程募資解鎖單元
單元 1 - Google 雲端架構師認證備考指南
單元 2 - 資料流設計實務分享 - Cloud Storage V.S Google Drive
【 老師介紹 】：Danny
現任 QSearch 資深資料工程師，擁有 Google 雲端架構師證照，負責設計與開發公司內大型社群媒體的雲端爬蟲系統等。
【 需要準備的工具/軟體 】
超值加碼
- 購課免費送【python 與爬蟲程式設計入門】 112 分鐘教學影片！
- 快去公佈欄看如何免費獲得價值 960 元影片！新學員和舊學員都有！
需要的設備
- 一台安裝好 Chrome 瀏覽器並能上網的電腦
- 本課程所有單元均使用線上雲端工具進行，不需在自己電腦上安裝任何軟體，因此不論你使用的是 Mac 或 Windows 系統都沒有問題！
以下為課程會使用到的雲端工具（不需事先安裝）
- Google Colab
- Data Studio
- Google Cloud Platform（需使用信用卡註冊，但課程內容操作不會產生任何的費用）
【 需要具備的背景知識 】
- 對 Python 有興趣，具有初階的使用經驗，如字串、迴圈、條件判斷等
- 課程中包含 Python 網路爬蟲的實作教學，如果你擁有相關經驗會更輕鬆上手，但本課程會有效率的帶你從基礎銜接到爬蟲實作的技巧，所以沒有相關經驗也不用擔心
- 講師擁有豐富的線下實作教學經驗，將手把手的帶領你完成從資料到產品的完整開發流程。上完這堂課，自己一個人也能成功開發動態更新數據的資料產品！
【 上完課後，學生可以學到並做出的東西 】
購課免費贈送【python 與爬蟲程式入門】112 分鐘影片
必須要用專屬連結 https://hahow.in/cr/data-pipeline 購買
並且【不要使用折扣碼】才會贈送喔！
完成後，填單索取影片：https://forms.gle/6gWHAHdNzpcUFP8y9
- 你將有能力依據個人化的需求，獨立開發 Python 爬蟲程式，並利用雲端系統達成爬蟲長期監測，最後產出能持續自動更新資料的動態視覺化報表！
- 不只是開發爬蟲，從資料爬取、處理、儲存到產出報表，你將學會利用 Google 雲端系統（GCP） 建立完整的資料流，在雲端上將「資料到產品」會遭遇到的所有難題一次解決！
- 課程挑選出最常碰到的三種資料來源：Open Data（表格 / CSV 格式）、HTML＆CSS 網頁以及 Web API （JSON 格式），手把手教你面對不同的資料來源時該如何設計對應的爬蟲資料流，讓任何網路上的資料都能成為你的資料源！
【 哪些人適合這堂課？】
- 對資料科學及網路爬蟲有興趣，具有 Python 初階的使用經驗，想利用網路資料產出動態數據作品、與他人分享成果，來自不同領域的學習者
- 有過網路爬蟲的經驗，但苦於不知如何達成長期監測、由程式自動更新數據，並串接視覺化工具，想開發動態數據作品的工作者
- 對雲端架構有興趣，想瞭解如何使用 Google 雲端系統，從蒐集、儲存資料，到產出動態報表，打造屬於自己的完整資料流，入門資料工程領域的工程師
