本班介紹 | 活動議程 | 專題介紹 | 歷屆成果展 |
![]()
|
目前台灣逐漸步入老年化社會,相對長照人員的負擔及人力持續升高,因此決定以人工智慧(AI)影像分析為基礎,設計主動式的遠端照護系統,不僅具有主動警報功能,還能省去穿戴式麻煩(EX:穿戴裝置過重,易損壞,易碰撞,易健忘)
而是更全面性的,當偵測者跌倒時,裝設在房內的AI監視鏡頭立即透過影像辨識,拍下跌倒的照片,並將警示訊息以照片發送給照顧者的LINE,以爭取意外發生時的黃金急救時間。希望藉由較低成本的偵測系統, 讓家護的照顧方式變得更有保障及安全。
我們的AI監視鏡頭是利用NVIDIA® Jetson™ TX2 搭配 Camera來實現。而跌倒偵測的方法主要是先利用深度學習的YOLO 模型來偵測是否影像中是否有人, 接著再將YOLO輸出的bonding box, 利用OpenCV計算其長寬比值。長寬比值與時間變動關係來判定是否為跌倒狀態。一旦偵測為跌倒狀態,會立即發送跌倒警報到Line群組中∘ 在本次專題實作中, 我們希望能夠實現出一個AioT應用,也希望透過NVIDIA® Jetson™ TX2 更加深入了解AI邊緣運算的實際應用∘
從Bill Gates 1995提起IoT概念之後,爾後到了2010年代的技術成熟以致商品化實現,智能化Ecosystem的建構得以在全球熱浪潮之下蓬勃發展;但也隨著智能化商品落地遇到瓶頸,智能化應用大多只存在手機App或是商場應用,除了系統集成、軟體應用等問題之外,令人詬病的問題之一就是雲運算時常不夠及時。而此時邊緣運算隨著類神經網路的崛起而彌補了雲運算的不足。
而本專題即是以raspberry pi搭載camera的架構同時進行IoT以及邊緣運算的雙重建構。使用MQTT(or line bot)建立了居家Camera及時防盜通知的IoT功能,並同時導入了類神經網路當中的MobileNet、藉著其輕巧但快速準確的能力,使raspberry pi具備了即時影像辨識的能力,使得家居攝影機功能各具全方位性能、能夠更貼近當下使用者生活所需。
Raspberry Pi #1為MQTT publisher、將分別的動作指令以及防盜偵測消息皆發佈到雲端MQTT server。Raspberry Pi #2作為動作指令的MQTT listener,在接到對應指令之後,可以執行:a. 開關燈 b. 開關音樂 c. 啟動機器手臂三種不同的動作 。而防盜偵測消息會進一步推播至使用者的Line。
AI功能:動作指令識別:藉由預錄動作指令以及標籤、使用搭載在Tensorflow上的Keras,執行Mobilenet model訓練;在training accuracy以及validation accuracy達到98.5%後裝載至Raspberry Pi #1上進行及時動作偵測並發送指令辨識結果至MQTT server。防盜動作偵測:裝載OpenCV在Raspberry Pi #1上,在Camera偵測到室內影像發生變動、亦即有偷盜事件可能發生的時候、及時發送影像至登入使用者的手機上。
隨著社會的進步,都市化讓人潮聚集,假日在購物商場排隊等候停車位一直都是開車族心中的夢魘。如果現在告訴您,只要透過指尖輕輕設定,停車場就是您的行動管家,您相信嗎?
如今車牌辨識服務已成為智慧科技重要標配的一環,如何在此創造出更多元化的附加價值, 為這個行業發展出更多創新的營運模式來體貼廣大的車主, 讓停車系統更加智慧化, 是我們推動的目標。 本組專題方案以"車主的角度"為構思,"智慧停車系統"為核心概念,首先讓駕駛人透過各式可連網的智慧型行動裝置預先查詢空位,此外,停車場內搭備自動化的裝置設備,結合軟硬體的應用就緒平台,讓車主透過簡單的設定,即可經由手機推播服務,隨時進入系統查詢,獲取最新的停車洗車資訊狀態以及購物商場第一手的優惠訊息,進一步提升便利的智慧化生活的效益。
我們透過Raspberry pi 3 整合周邊物聯網(IOT)設備,導入影像辨識,UI使用者介面連結雲端資料庫(Firebase) ,機械手臂應用,以及Chatbot的多元互動,這一系列優化的流程,藉由軟硬體的整合設計,智慧型的後台管理,透過物聯網的可塑性,為這個行業發展出更多創新的營運模式,實現智慧城市生活。
2018年五月Google無人駕駛出租車服務在美國啟動,於是以模型電動車,搭配Raspberry-Pi使用CNN深度學習神經元網路和影像辨識,來訓練模型車自動駕駛。以PWM訊號控制馬達驅動,整合感測羅盤、GPS定位、超音波測距、物體偵測辨識交通號誌和行人,使電動車能判斷周遭環境,並且以MQTT物聯網通訊技術將感測器資料傳雲端,FFMPEG推送即時影像,最後透過Web Ajax和Websocket技術實現即時資料視覺化的呈現。