正在如火如荼展開(kāi)的ICML 2022即將進(jìn)入尾聲，但是攤兒還得續(xù)上！北京時(shí)間7月24日（本周日）上午10點(diǎn)，將門(mén)-TechBeat人工智能社區(qū)很開(kāi)心邀請(qǐng)到清華叉院智能系統(tǒng)與機(jī)器人課題組的助理教授陳建宇和3位在讀博士生——陳曉宇、余冬杰、穆堯（港大），為大家講解在本次ICML上的三篇工作，并進(jìn)行實(shí)時(shí)Q&A，內(nèi)容涵蓋：

① 基于Flow的循環(huán)信念狀態(tài)學(xué)習(xí)

② 可達(dá)性約束強(qiáng)化學(xué)習(xí)

③ CtrlFormer-通過(guò)Transformer學(xué)習(xí)視覺(jué)控制的可遷移狀態(tài)表示

本次ICML云際會(huì)還邀請(qǐng)到

浙大數(shù)字媒體計(jì)算與設(shè)計(jì)實(shí)驗(yàn)室

感興趣的朋友掃描下方二維碼，一次預(yù)約

2！場(chǎng)！直！播！

以便及時(shí)收到開(kāi)播提醒~

*直播回顧將在視頻號(hào)、B站、TechBeat(www.techbeat.net)同步上架

活動(dòng)議程?+ 報(bào)名

活動(dòng)福利

活動(dòng)中將進(jìn)行互動(dòng)Q&A，我們將在視頻號(hào)和B站直播間中抽取3位提問(wèn)最積極走心的同學(xué)送出“夏日運(yùn)動(dòng)禮包”（內(nèi)含：運(yùn)動(dòng)頭帶、運(yùn)動(dòng)毛巾、超大容量不銹鋼水杯、單肩包）！

團(tuán)隊(duì)介紹▽

團(tuán)隊(duì)名稱(chēng)

清華大學(xué)智能系統(tǒng)與機(jī)器人課題組（ISR Lab）

團(tuán)隊(duì)介紹

清華大學(xué)ISR Lab（智能系統(tǒng)與機(jī)器人實(shí)驗(yàn)室）由陳建宇助理教授組建，隸屬于清華大學(xué)交叉信息研究院。團(tuán)隊(duì)從事機(jī)器人與人工智能交叉領(lǐng)域前沿研究，圍繞強(qiáng)化學(xué)習(xí)中的安全性與表征學(xué)習(xí)問(wèn)題、基于演示的強(qiáng)化學(xué)習(xí)、實(shí)時(shí)軌跡優(yōu)化等方向開(kāi)展研究，并應(yīng)用于機(jī)械臂、無(wú)人車(chē)、腿足式機(jī)器人等多種實(shí)體機(jī)器人系統(tǒng)。團(tuán)隊(duì)在ICML/NeurIPS/CVPR/T-NNLS/ICRA/IROS/L4DC/CDC/ACC/T-ITS/T-IV/ITSC/IV等人工智能、機(jī)器人、控制、交通領(lǐng)域頂級(jí)會(huì)議和期刊發(fā)表論文30余篇。

團(tuán)隊(duì)老師

陳建宇

陳建宇，清華大學(xué)交叉信息研究院助理教授，博士生導(dǎo)師。他在清華大學(xué)取得學(xué)士學(xué)位，在加州大學(xué)伯克利分校取得博士學(xué)位，師從美國(guó)國(guó)家工程院院士、機(jī)電控制學(xué)科先驅(qū)Masayoshi Tomizuka教授。他近年來(lái)在機(jī)器人學(xué)、自動(dòng)駕駛、強(qiáng)化學(xué)習(xí)、控制學(xué)的交叉領(lǐng)域從事前沿研究。他的研究目標(biāo)是構(gòu)建出具備高性能、高智能的高端機(jī)器人軟硬件系統(tǒng)。他在機(jī)器人、人工智能、控制、交通等領(lǐng)域的國(guó)際頂級(jí)會(huì)議和期刊上發(fā)表了三十余篇論文，部分論文入圍L4DC 2022、IEEE IV 2021、IFAC MECC 2021等國(guó)際會(huì)議優(yōu)秀論文獎(jiǎng)。他在2021年入選了“福布斯中國(guó)30under30”榜單。

工作及分享嘉賓

①

基于標(biāo)準(zhǔn)化流的部分可觀測(cè)馬爾科夫決策過(guò)程學(xué)習(xí)

（Flow-based Recurrent Belief State Learning for POMDPs）

陳曉宇

工作介紹

部分可觀測(cè)的馬爾科夫決策過(guò)程（POMDP）是解決很多序列決策問(wèn)題的通用框架。POMDP的一種主流解法，是基于估計(jì)的belief state進(jìn)行決策，而如何準(zhǔn)確估計(jì)belief state仍然是一個(gè)棘手的難題?，F(xiàn)有的研究方法在估計(jì)belief state方面展現(xiàn)出了很大的潛力，但是卻只能對(duì)belief state做近似的估計(jì)。本文提出了FORBES算法，使用變分推斷的方法可以估計(jì)任意連續(xù)的belief state，并通過(guò)實(shí)驗(yàn)展示出FORBES算法可以提供高質(zhì)量多模態(tài)的重構(gòu)圖像，并且能在視覺(jué)輸入的控制任務(wù)上取得超越此前算法的表現(xiàn)。

分享嘉賓

陳曉宇，清華大學(xué)交叉信息研究院 在讀博士生

個(gè)人介紹

陳曉宇，清華大學(xué)交叉信息研究院陳建宇老師組博士生，主要研究方向?yàn)閺?qiáng)化學(xué)習(xí)。

②

可達(dá)性約束強(qiáng)化學(xué)習(xí)

（Reachability Constrained Reinforcement Learning）

工作介紹

由于安全性對(duì)于現(xiàn)實(shí)世界問(wèn)題的重要性，約束強(qiáng)化學(xué)習(xí)近來(lái)受到廣泛關(guān)注。然而，現(xiàn)有的依托累計(jì)折扣代價(jià)的約束強(qiáng)化學(xué)習(xí)方法通常缺乏嚴(yán)格的定義和安全保證。相比之下，在安全控制研究中，安全定義為持續(xù)地滿足某些狀態(tài)約束。這種持續(xù)的安全性?xún)H在狀態(tài)空間的某些子集上存在，這些子集被稱(chēng)為可行集合。對(duì)于給定環(huán)境，存在最優(yōu)的最大可行集。最近的研究將可行集與基于能量函數(shù)的方法（如控制障礙函數(shù)CBF、安全指數(shù)SI）結(jié)合到約束強(qiáng)化學(xué)習(xí)中，并利用可行集的先驗(yàn)保守估計(jì)，但這會(huì)損害策略的性能。針對(duì)這一問(wèn)題，本文提出了可達(dá)性約束強(qiáng)化學(xué)習(xí)（RCRL）方法，利用可達(dá)性分析建立新的自洽條件并對(duì)可行集進(jìn)行刻畫(huà)?？尚屑砂踩岛瘮?shù)表示，在約束強(qiáng)化學(xué)習(xí)中用作約束。我們使用多時(shí)間尺度隨機(jī)近似理論來(lái)證明所提出的算法收斂到局部最優(yōu)，并且可以保證可行集合的最大性質(zhì)。不同任務(wù)上的實(shí)驗(yàn)結(jié)果表明，與約束強(qiáng)化學(xué)習(xí)或安全控制等基準(zhǔn)方法相比，RCRL學(xué)習(xí)到的可行集的合理性、策略性能和約束滿足的優(yōu)勢(shì)。

分享嘉賓

余冬杰，清華大學(xué)車(chē)輛與運(yùn)載學(xué)院 在讀碩士生

個(gè)人介紹

余冬杰，清華大學(xué)車(chē)輛與運(yùn)載學(xué)院李升波老師組碩士生，主要研究方向?yàn)榘踩珡?qiáng)化學(xué)習(xí)。個(gè)人主頁(yè)：manutdmoon.github.io

③?

CtrlFormer-通過(guò)Transformer學(xué)習(xí)視覺(jué)控制的可遷移狀態(tài)表示

（Ctrlformer: learning transferable state representation?for?visual control via transformer）

工作介紹

Transformer在學(xué)習(xí)視覺(jué)和語(yǔ)言表示方面取得了巨大的成功，這在各種下游任務(wù)中都是通用的。在視覺(jué)控制中，學(xué)習(xí)可在不同控制任務(wù)間遷移的可遷移狀態(tài)表示對(duì)于減少訓(xùn)練樣本的大小具有重要意義。然而，將Transformer移植到采樣高效的視覺(jué)控制仍然是一個(gè)具有挑戰(zhàn)性和未解決的問(wèn)題。為此，我們提出了一種新穎的控制Transformer(CtrlFormer)，它具有許多現(xiàn)有技術(shù)所沒(méi)有的吸引人的優(yōu)點(diǎn)。首先，CtrlFormer在不同控制任務(wù)之間聯(lián)合學(xué)習(xí)視覺(jué)令牌和策略令牌之間的自注意力機(jī)制，可以在不發(fā)生災(zāi)難性遺忘的情況下學(xué)習(xí)和遷移多任務(wù)表示。其次，我們精心設(shè)計(jì)了一個(gè)對(duì)比強(qiáng)化學(xué)習(xí)范式來(lái)訓(xùn)練CtrlFormer，使其能夠達(dá)到較高的樣本效率，這在控制問(wèn)題中是非常重要的。例如，在DMControl基準(zhǔn)測(cè)試中，不像最近的先進(jìn)方法在使用100k樣本遷移學(xué)習(xí)后在“Cartpole”任務(wù)中產(chǎn)生零分而失敗，CtrlFormer可以在僅使用100k樣本的情況下獲得769±34的最先進(jìn)的分?jǐn)?shù)，同時(shí)保持之前任務(wù)的性能。

分享嘉賓

穆堯，香港大學(xué)在讀博士生

個(gè)人介紹

穆堯，香港大學(xué)在讀博士生,師從羅平老師，現(xiàn)主要研究方向包括強(qiáng)化學(xué)習(xí)、機(jī)器人控制和表示學(xué)習(xí), 在 ?NeurIPS, ICML, CVPR, IJCAI等頂級(jí)會(huì)議發(fā)表論文5篇, 曾獲ICCAS2020最優(yōu)學(xué)生論文獎(jiǎng)，IV2021最優(yōu)學(xué)生論文提名獎(jiǎng), 2021年在清華大學(xué)取得碩士學(xué)位，獲清華大學(xué)優(yōu)秀畢業(yè)生，清華大學(xué)優(yōu)秀碩士論文獎(jiǎng)。

個(gè)人主頁(yè)：

yaomarkmu.github.io

報(bào)名+入群

掃碼填寫(xiě)下方報(bào)名表，

工作人員將會(huì)把你拉入【CVPR2022活動(dòng)交流群】

7月24日?周六上午10點(diǎn)，直播間見(jiàn)！

-The?End-

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。 我們希望為AI人才打造更專(zhuān)業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。 期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ