Research Projects

網路電商服務中，重要的就是讓顧客在使用電商網站時，能夠感受到便利性與易用性，才能增加顧客黏著度。設計出吸引人的網站的方式有很多，例如我們在先前的研究中，利用圖神經網路模型結合外部網站的瀏覽資料，並找出顧客可能會想購買的產品，在顧客進入網站時即時預測想購買的商品並推薦給他；抑或在購買時對於商品的任何問題都能快速獲得解答，都是可以增進顧客使用體驗的方法。 在本期計畫中，我們將使用自然語言處理自動化分析顧客對產品提出的問題，對每個進線問題的意圖分類 (Intent classification) 後對應到客服的相關處理流程，以期降低客服團隊回答問題需耗費的時間與人力成本。

世界衛生組織於2019年，提出關於患者安全的 10 個事實(10 facts on patient safety)，指出手術仍然會導致高併發症和死亡率。每年有近 700 萬外科手術患者出現嚴重併發症，其中 100 萬人在手術期間或手術後立即死亡。系統文獻回顧的研究發現，因手術或麻醉的不良事件導致19.3-52.2%非預期性加護病房轉入。

許多證據顯示，不同的麻醉因素會影響病人預後。各類監測器的使用，可了解合適的麻醉深度；提供診斷的依據，及即時反應介入後的效果。然而現實中臨床繁重工作和人為因素，導致手動頻繁反饋不易達成。

本計畫試圖設計麻醉手術中的自動控制(control)和反饋(feedback)系統，以提供更佳的臨床建議，讓麻醉醫師可提供更優化的臨床照護，保障病人安全。

在先前的計畫中，我們使用內部網站的使用者瀏覽資料，能得知使用者從進入網站瀏覽商品到購買商品的軌跡，從而建立knowledge graph。

然而，即使使用者在站內瀏覽路徑相同，平時的瀏覽習慣如使用不同論壇，不同搜尋引擎等，可能會影響使用者的後續行為( 如購買與否有興趣的方面等），因此也是使用者分群的參考依據之一。

本期計畫中，我們希望能結合外部網站瀏覽足跡，將使用者分群做得更完善並應用至推薦系統中。

主要透過 GNN (Graph Neural Network) 預測全臺房屋價格，建置高準確度的 AVM (Automated Valuation Model) 模型，房屋類型包括公寓、大樓、透天厝。

同時，考慮到上線後的實際需求，我們也嘗試使用 Self-supervised Learning (自監督式學習) 的方法，在不降低模型準確度的前提下，減少模型的 inference time。

假新聞、假消息對於台灣社會信任與穩定度的影響逐漸受到政府的注意，近年來也有許多事實查證相關的聊天機器人或網站，例如：line上有美玉姨、網站上則是有TFC 台灣事實查核中心、島民衛星及g0v等各方團體（包含實體網站與臉書粉絲團等）。

以島民衛星為例，查核的方式利用蒐集新聞和網路傳聞訊息，透過人名辨識、新聞分群、關鍵字標籤和新聞分析，和使用最新的語言處理技術 BERT 來分析文章風格，藉以判斷新聞媒體風格、內容、立場等。

在本期計畫中，我們將使用自然語言處理自動化分析顧客對產品提出的問題，對每個進線問題的意圖分類 (Intent classification) 後對應到客服的相關處理流程，以期降低客服團隊回答問題需耗費的時間與人力成本。

過往在進行機器學習任務時，大多利用使用者個人交易紀錄當作特徵，套入模型來學習其行為，而這將很難利用到豐富的社交網路資訊。例如某使用者的二階鄰居，或是使用者的交易拓撲行為等。

在此計畫中，我們利用使用者交易紀錄建立轉帳網路，並利用圖神經網路 (Graph Neural Network) 學習使用者之間的關聯，對每位使用者產生各自的特徵向量。期望能在各種下游任務 (downstream tasks) 中，如警示帳戶偵測、轉帳次數預測等，都能利用該特徵向量而有不錯的成果。

網路電商服務的興起，改變了過去人們規劃一趟旅程的習慣。以往大家會從旅遊書、親友口耳相傳中，得知旅遊景點的資訊、特色、價格等等，而如今大家普遍偏好在網路上尋找所有資訊。在網路電商普及後，更有許多人會選擇在出發前預先購買好行程。

本計畫利用使用者瀏覽足跡以及商品資訊，例如標題、部落格內文、產品銷售紀錄等，將多樣產品綜合產生一個人化的產品標題，以幫助使用者更快了解套裝產品資訊，並幫助業者提升銷售量，達到雙贏的局面。

為了減少銀行發送eDM的成本及提升發送eDM的效率，達到更精準的行銷，本研究透過分析客戶的基本資料、過去的消費行為以及過去開啟eDM的行為，以及eDM所推銷的內容，來預測客戶是否會對某類的eDM感到有興趣，進而開啟了eDM。這模型稱為eDM開啟模型，其主要目的是為了匹配客戶其適合的eDM，減少eDM隨意的投放所造成的垃圾及干擾，並且讓客戶可以得到有用且需要的資訊。

推薦系統已是各大網路平台提供的重要服務之一，對於用戶而言，由於使用者時間有限，再加上旅遊產品內容複雜，如何幫助用戶發掘好產品成了項重要且不可輕忽的議題。對於平台來說，如何在有限的空間中選出用戶最有可能點擊的商品也是至關重要的議題。

本計畫結合使用者瀏覽足跡、訂單資料以及外部資料，對使用者建立使用者模型，並利用此模型依據個人差異，提供客製化的推薦服務，更精準的推薦用戶較有可能喜歡的商品。

對於銀行業者，主管機關通常會要求銀行端偵測異常帳戶，因為管理帳戶是銀行本身的責任。而對顧客而言，如果某間銀行有太多有問題的帳戶，會造成顧客對於該銀行的不信任，銀行的商譽會受損。基於以上理由，銀行必須要有偵測警示帳戶的機制。

警示帳戶是一些有關於犯罪的帳戶，例如詐騙集團用的人頭帳戶，或是官司中牽扯金錢被告者的帳戶。這類警示帳戶過往都是透過警察機關，在下一個月時公布前一個月的警示帳戶，銀行才針對這些帳戶進行處理，像是禁止其提存轉匯等。

此次計畫將利用金融科技來偵測警示帳戶，透過機器學習的方式，學習模型以找出可疑的警示帳戶，減少過往耗時耗力的逐戶檢核流程。帳戶異常偵測技術能協助金融機構早期偵測可疑的犯罪帳戶，使金融單位能事先預防，並協助警政單位及時阻止犯罪行為發生

為一名選手經營粉專需要了解選手生涯，對其各個階段的比賽風格深入了解，尤其是對於近期的比賽需要針對選手與對手雙方做分析，才能寫出精闢且吸引人的文章。每一篇選手文章的背後都是花費了大量的時間、人力，這也造成了資源較為缺乏的選手難以經營球迷經濟的困境。此外，傳統的戰術分析高度依賴教練的領域知識與個人經驗，為了突破這種限制並實現資料驅動的戰術分析，我們也建構了羽球單打模擬器。

此計畫著重在解決以下幾件事：

• 自動化的報導生成：利用語言模型來產生具事實性的報導內容
• 豐富的報導內容：根據比賽的表格結合資料分析的技術來產生豐富分析圖表、將比賽長影片與其對應的表格資訊剪輯為精華片段
• 建立羽球單打模擬器：利用標記的比賽資料，我們利用模仿學習建構了虛擬選手可以在單打模擬器中進行虛擬比賽，為教練提供實用的戰術分析

此計畫的一些研究成果

• Demo:
  • 賽事分析的可視化介面
  • 影片精華剪輯
• Research:
  • NEWSAGENT: Benchmarking Multimodal Agents as Journalists with Real-World Newswriting Tasks.
  • Tree-of-Report: Table-to-Text Generation for Sports Game Reports with Tree-Structured Prompting
  • RallyDiffuser: A Representation-Guided Diffusion Model Framework for Strategic Planning in Badminton.
  • CoachAI+ Badminton Environment: A Realistic Badminton Game Simulator for Enhancing Player Performance
  • Offline Imitation of Badminton Player Behavior via Experiential Contexts and Brownian Motion.
  • ShuttleSet: A Human-Annotated Stroke-Level Singles Dataset for Badminton Tactical Analysis.

根據每個使用者的歷史行為，我們可以知道關於使用者在時間、空間、類別、金錢等面相的資訊，更了解使用者的行為模式及需求。延伸先前的使用者特徵檔案建立，在此項研究中，我們選取購買者與非購買者的線上瀏覽記錄，分析兩者間的瀏覽行為，並建立模型預測購買者的喜好及可能購買的物品。綜合瀏覽行為分析，我們可以推得「瀏覽行為和購買行為有高度正相關」，以瀏覽資料可以預測其購買行為。

在 Off-Line 顧客消費行為建模中，時間、空間、金額、類別等不同隨機變數之間關聯緊密，我們利用推論演算法學習，同時與玉山銀行的專家合作，建立更符合實際應用的模型，分析顧客消費金額、地點、時段等。

考慮使用者過去行為，含 Spatio、Temporal、Payment、Category 四大類的特徵，例如：消費時間是假日或非假日、每月交易額度、常去區域、常消費類別、最近消費紀錄模式形成的馬可夫鏈、週期等。我們觀察相關資料分布，建立機率模型，預測可能消費類別和地區，可應用於廣告精準行銷，對準消費機率高的潛在顧客，提高整體簽帳金額。

隨著時間的推移，台灣的羽球選手以優異的表現在世界舞台上越來越受到關注，帶動了台灣國內人民對於羽球運動的熱情，選手訓練的重要性也日益凸顯。然而，在資源有限的學校或社區隊伍中，常面臨難以聘請專業教練的困境。此外，年輕選手的曝光度低，導致選手缺乏管道去爭取更好的資源。為了解決這些痛點，我們將推動了這個基於羽球訓練與推廣數位轉型的計畫。

我們團隊的目標在於打造專業訓練平台，提升選手技術與知名度。透過建立羽球運動資料分析平台與智慧球館，結合人工智慧和虛擬實境技術，為選手提供個性化訓練與身歷其境的賽事體驗。透過文章生成系統和賽事影片摘要生成，我們創造有吸引力的內容，推廣羽球運動並提升知名度。在結合羽球社群平台和智慧球館的同時，促進選手和民眾交流和資訊分享，進而打造更科技化的羽球生態系。為了達到這個願景，整個計畫細分為五個子計畫，各自負責不同的研究：

1. 研發與實作輔助型運動科技撰文小編：著重在自動化產生豐富的羽球報導以及提供教練與選手專業分析報告。目前已開發了自動化生成報導的小編、長影片的精華剪輯、比賽精華摘要和建構虛擬模擬器來為選手提供未來對戰的建議。

2. 賽事影片精華生成：解決羽球賽事精華影片手動篩選耗時且難以滿足多元需求的問題，子計畫二開發了自動化羽球影片摘要技術。此外，強化擊球動作辨識和語意理解，讓使用者能透過文本精準檢索片段。

3. 虛擬實境賽事體驗：著重於實現 3D 比賽資料回放與虛擬比賽重建，提供教練與球員更全面的戰術分析工具。透過 3D 重建技術，將傳統 2D 羽球影片資料轉化為直觀的 3D 球路與球員姿態視覺化呈現。同時也開發了基於文字-影片檢索系統，讓使用者能透過自然語言描述精準查找戰術影片。

4. 羽球運動資料收集與社群平台建置：開發專用的半自動化標記系統與建構資料庫平台將大量羽球比賽影片轉為結構化資料。建構 CoachAI 網站，設計多樣化的視覺化圖表，並提供整場比賽影片回放功能，致力於提供一套兼具技術性與操作性的比賽分析平台。

5. 智慧球館：著重於解決羽球場館經營挑戰，運用 AI 技術，開發賽事自動計分系統與互動式發球機器人，提供更專業的智慧線審和教練式的練球體驗。

想要更進一步地了解整個計畫的分工和研究成果可以參考精準運動科學網站

大眾運輸工具在人們的日常生活中已成為不可缺少的一部份，了解人們如何在城市內移動顯的至關重要。先前的成果多利用 GPS、Wi-Fi或是藍芽等方式來蒐集數據，而這將需要額外的設備才能進行。其他也有利到智慧感應卡來蒐集資料，然而不同的大眾運輸工具可能會有各自的智慧卡系統，且智慧卡並不能涵蓋所有的大眾運輸模式，這將使資料較難分析與利用。

近年來，幾乎每位民眾都有自己的手機以及網路，透過電信商的行動數據，我們就有機會可以從中得知民眾的交通方式與進行人流分析。

因此，給定一組行動數據，我們提出了一個用於大眾交通模式檢測 (public transportation mode detection)、人群密度估計 (crowd density estimation) 以及人群流量估計 (crowd estimation) 的系統。這邊特別注意，我們只有利用行動數據，而不需要額外透過額外的感應器來蒐集資料。最後我們使用來自台灣最大的電信公司，台灣電信，的資料，展示我們成果的有效性。

本項專案計畫總共分成四項子計畫。子計畫一根據銀行提供的資料，建立消費者行為模式。子計畫二根據資料，產生據影響力的文字與分析。子計畫三為針對對話機器人，進行UIUX的設計。子計畫四則為資料視覺化。

在這四年計畫，我們總計發表了29篇論文至國際性學術研討會與專業期刊。共可分成四項亮點，分別是「簽帳行為預測與其應用」、「金融產品預測與自動標題產生」、「任務導向聊天機器人」與「金融資料視覺化與互動性」。