免费无码AⅤ片在线观看_欧美日韩在线二区_99草在线_一级在线免费看_欧美色综合_国产免费一区二区三区视频天天爽

為加速機器人技術(shù)的發(fā)展，開拓更豐富的具身智能應(yīng)用，智元機器人今天正式宣布推出自主研發(fā)的大型仿真框架AgiBot Digital World，為機器人操作提供靈活的仿真數(shù)據(jù)生成方案、預(yù)訓(xùn)練的大規(guī)模仿真數(shù)據(jù)和統(tǒng)一的模型評測標(biāo)準(zhǔn)，同步開源海量仿真數(shù)據(jù)！

▎關(guān)于AgiBot Digital World：https://agibot-digitalworld.cn

AgiBot Digital World作為一款專為機器人操作技能研究與應(yīng)用設(shè)計的仿真框架，集成了海量的逼真三維資產(chǎn)、多樣化的專家軌跡生成機制和全面的模型評估工具。通過高保真地模擬訓(xùn)練場景，全鏈自動化地生成數(shù)據(jù)，AgiBot Digital World可以實現(xiàn)一系列的具身仿真服務(wù)。

具體來說，憑借豐富多樣的物體、場景和機器人模型所構(gòu)建的大規(guī)模、高精度的三維資產(chǎn)庫，結(jié)合高度逼真的視覺渲染和精確的物理模擬，以及任務(wù)與場景的自動化生成，AgiBot Digital World可以惟妙惟肖地模擬各種機器人訓(xùn)練場景。同時，仿真框架打造的多種專家軌跡生成策略，配合域隨機化、數(shù)據(jù)增強等手段，能夠自動生成多樣、魯棒的大規(guī)模專家軌跡數(shù)據(jù)，并且建立了貫穿專家軌跡生成、模型訓(xùn)練、基準(zhǔn)測試、部署驗證的完整評估流程。

同時，智元機器人開源上線海量規(guī)模的仿真數(shù)據(jù)集AgiBot Digital World Dataset，涵蓋5大類場景、180+品類具體物品、9種常見材質(zhì)、12種核心技能，具有質(zhì)量高、泛化快、任務(wù)多樣、應(yīng)用靈活的特點！這是繼去年12月份百萬真機數(shù)據(jù)集開源項目AgiBot World之后，智元機器人在具身智能數(shù)據(jù)方面的又一開源行動，助力全球具身智能機器人領(lǐng)域發(fā)展！

▎數(shù)據(jù)開源地址：https://huggingface.co/datasets/agibot-world/AgiBotDigitalWorld

01、高保真模擬訓(xùn)練場景，幫助機器人預(yù)訓(xùn)技能

高度真實、多樣的三維資產(chǎn)

生動自然的視覺效果

除了照片般真實細(xì)膩的觀感外，還有真實世界的物理效應(yīng)。比如當(dāng)黃色小車被輕輕放到盒子里的一瞬，碰到的籃子和藍(lán)色小車也隨之晃動。尤其在腕部相機視角下，這樣的交互細(xì)節(jié)特色尤為明顯。

細(xì)膩傳神的物理效應(yīng)

3.自動生成任務(wù)與場景

AgiBot Digital World引入多模態(tài)大模型，支持基于資產(chǎn)庫自動生成操作任務(wù)，以及基于指定任務(wù)自動生成操作場景和物體布局。此功能可以根據(jù)實際訓(xùn)練需求，靈活創(chuàng)建多樣化、復(fù)雜度可調(diào)的仿真任務(wù)與仿真環(huán)境，實現(xiàn)數(shù)據(jù)閉環(huán)。
比如在書房中，想從桌面任務(wù)轉(zhuǎn)向立面操作，那么可以一鍵召喚取書任務(wù)，系統(tǒng)將自動捕捉到環(huán)境中的書架。

桌面任務(wù)轉(zhuǎn)向立面操作

如果當(dāng)前環(huán)境無法滿足任務(wù)需求，比如缺少特定物體，那么系統(tǒng)也可自動調(diào)用資產(chǎn)庫補充物體，或切換至適配場景。

自動調(diào)用資產(chǎn)庫補充物體

02、全鏈路自動化生成數(shù)據(jù)，提供海量學(xué)習(xí)資料

AgiBot Digital World致力于實現(xiàn)全鏈路自動化的數(shù)據(jù)生產(chǎn)，具身智能數(shù)據(jù)生成引擎可以提供包括真機操作數(shù)字孿生、具身智能體自動生成和仿真遙操作等多元化的專家軌跡生成策略，同時結(jié)合域隨機化和數(shù)據(jù)增強技術(shù)生成多樣、魯棒的專家軌跡數(shù)據(jù)，提升模型泛化能力。

1.多元化專家軌跡生成策略

真機操作數(shù)字孿生：支持真實機器人操作軌跡數(shù)據(jù)1:1映射到仿真環(huán)境中，用于生成更豐富的數(shù)據(jù)標(biāo)簽以及為數(shù)據(jù)增廣提供專家示例軌跡。

具身智能體自動生成：在大規(guī)模機器人專家軌跡數(shù)據(jù)驅(qū)動的端到端操作之前，主流機器人學(xué)習(xí)領(lǐng)域普遍通過專用的模塊化小模型解決特定的問題，AgiBot Digital World將多模態(tài)大模型與模塊化機器人操作小模型結(jié)合構(gòu)造機器人操作智能體，自動化生成機器人操作軌跡。 

仿真遙操作：對于智能體難以處理的復(fù)雜任務(wù)，提供人機交互界面，允許操作者在仿真環(huán)境中通過遙操作的方式獲取專家演示數(shù)據(jù)。

2.域隨機化與數(shù)據(jù)增強提升泛化性

仿真過程中，具身智能數(shù)據(jù)生成引擎可以進(jìn)行豐富的環(huán)境光照、物體材質(zhì)、物理屬性域隨機化，同時支持多種操作軌跡增強方式，以生成具有多樣性和魯棒性的專家軌跡數(shù)據(jù)，增強模型在真實環(huán)境中的泛化能力。
通過調(diào)整任務(wù)、物體實例、場景、布局、光照、紋理、物理參數(shù)等多樣數(shù)據(jù)標(biāo)簽，數(shù)據(jù)生成引擎可以調(diào)整被操作物體及環(huán)境的紋理、光照、遮擋物密度等設(shè)置，生成涵蓋各類分布外情形的增強數(shù)據(jù)，實現(xiàn)數(shù)據(jù)分布的實時監(jiān)測和控制。

生成各種情形增強泛化

3.自動化生成大規(guī)模數(shù)據(jù)集

數(shù)據(jù)生成引擎可以支持包括多視角RGB-D圖像、觸覺信息、機器人狀態(tài)信息在內(nèi)的等多模態(tài)數(shù)據(jù)，用于策略學(xué)習(xí)。

生成多模態(tài)數(shù)據(jù)

依托自動化的任務(wù)和場景生成機制，AgiBot Digital World可以快速構(gòu)建大規(guī)模、可擴展的機器人操作專家軌跡數(shù)據(jù)，與真實機器人操作軌跡數(shù)據(jù)互補，提升數(shù)據(jù)的多樣性和模型的泛化性，并降低數(shù)據(jù)成本。 

快速構(gòu)建大規(guī)模、可擴展專家軌跡數(shù)據(jù)

同時，作為一款具身智能大型仿真框架，AgiBot Digital World建立了貫穿專家軌跡生成、模型訓(xùn)練、基準(zhǔn)測試、部署驗證的完整評估流程，支持對機器人的端到端模型進(jìn)行全面測試。尤其在有了海量數(shù)據(jù)后，虛實交織的數(shù)據(jù)飛輪將極大程度地加速具身智能的開發(fā)和應(yīng)用。

仿真Benchmark中驗證端到端Policy

03、開源海量仿真數(shù)據(jù)，加速具身智能發(fā)展

AgiBot Digital World可以高效支持機器人在多元化場景的應(yīng)用，仿真數(shù)據(jù)涵蓋5大類型場景：家居、商超、辦公、餐飲和工業(yè)。

AgiBot Digital World Dataset物體數(shù)字資產(chǎn)分布

AgiBot Digital World Dataset操作任務(wù)分布

其中，家居場景最為豐富，占比36%；商超緊隨其后，占比21%；其余場景各占14.3%。當(dāng)中，物體細(xì)分為家用電器、衣物配飾、日雜用品等9大品類，包含超過180種具體物品，充分滿足多樣化需求。材質(zhì)方面則是涵蓋木質(zhì)、地毯、石制等9種主要材料，提供豐富的選擇。此外，數(shù)據(jù)還囊括12種核心技能，如抓、放、插、倒等，靈活應(yīng)對各種任務(wù)。

智元機器人此次開源的海量仿真數(shù)據(jù)具有一系列特點：

質(zhì)量高：提供的機器人操作數(shù)據(jù)質(zhì)量高，可供端到端模型可靠訓(xùn)練。

泛化快：可支持實現(xiàn)光照、干擾物、平面位置、高度、背景和物體類別的快速泛化，提升模型在各種環(huán)境下表現(xiàn)。

任務(wù)多樣：包含多個步驟的長程任務(wù)以及多技能組合的短程任務(wù)，適用于多技能訓(xùn)練和多任務(wù)泛化執(zhí)行。

應(yīng)用靈活：通過12種核心技能組合，數(shù)據(jù)集能靈活應(yīng)對各種復(fù)雜任務(wù)，提升機器人操作的適應(yīng)性和效率。

這些數(shù)據(jù)為各類場景應(yīng)用提供了堅實的開發(fā)基礎(chǔ)和廣泛的應(yīng)用可能性，助力實現(xiàn)多技能訓(xùn)練和多任務(wù)泛化執(zhí)行。

接下來，AgiBot Digital World還將進(jìn)一步開放擴展，適配更多的機器人本體和執(zhí)行器（包括夾爪、靈巧手）；并融合更多模態(tài)，包括深度噪聲傳感器仿真、觸覺傳感仿真等。

智元多機器人仿真

觸覺傳感器仿真

在過去一年，具身智能領(lǐng)域迎來了爆發(fā)式發(fā)展，大規(guī)模機器人操作數(shù)據(jù)的作用功不可沒。智元機器人推出的AgiBot Digital World，支持快速生成海量高質(zhì)量的操作數(shù)據(jù)，通過與真機數(shù)據(jù)搭配，可以更加高效、全面地構(gòu)建高質(zhì)量具身訓(xùn)練數(shù)據(jù)集，加快具身智能發(fā)展！