在全球機器人產業加速邁向智能化的浪潮中,一個核心共識逐漸清晰:機器人若要真正融入現實世界,僅依賴更強的算力或更復雜的算法遠遠不夠,更需要一套能夠長期穩定運行、持續進化且可產業化的智能計算底座。過去十年,機器人技術經歷了從“可編程執行”到“感知驅動控制”的跨越,視覺、定位與運動控制能力日益成熟。然而,隨著深度學習與Transformer架構的引入,機器人開始承擔更復雜的理解、決策與協作任務,系統復雜度呈指數級增長。面對真實世界中多變的光照、環境、人類行為和任務目標,傳統“模塊割裂、靜態部署”的架構逐漸顯露出局限性。
為實現“全腦智能”,黑芝麻智能提出了“Whole-Brain Intelligence”理念。該理念并非聚焦單一模型或算力突破,而是借鑒人類大腦多區域協同工作的方式,將語言理解、空間感知、決策推理和運動控制等能力在系統層面統一組織與調度。在SesameX平臺中,全腦智能通過多層面協同實現:計算層面,異構算力單元(CPU、NPU、DSP、MCU等)統一調度,使不同任務在合適資源上高效執行;系統層面,統一的任務表達與執行機制讓感知、規劃與控制形成連續信息流,不再依賴人工拼接;模型層面,多模態模型與原子化能力組合,使來自不同算法體系和生態伙伴的模型自然協同。通過這種方式,SesameX將分散的智能能力整合為一個持續協作的整體,使機器人在復雜環境中形成穩定、一致的跨模態理解與行為輸出。
安全是機器人與人類共享空間的核心挑戰。與汽車等高度結構化場景不同,機器人安全不僅需防止硬件故障,更需具備系統級能力,包括行為可預測、狀態可解釋、異常可恢復,并在極端情況下保護人類。SesameX將安全理念貫穿整個平臺架構,從感知輸入、算力調度、任務執行到控制輸出,每一層均引入明確的安全約束與兜底機制。平臺通過L0至L5多層級安全體系,使機器人在傳感器異常、模型輸出異常、資源爭搶或任務沖突時,自動進入受控狀態,如限速、重規劃或安全停機。這種系統級設計使機器人不再依賴單點正確性,而是具備整體可控、可預測的運行特性,為商業化部署提供前提。
為應對真實環境中的安全與自主需求,SesameX將復雜的安全需求抽象為六層機制,從物理行為延伸至數據與系統安全,形成由下而上的防護結構。執行過程中,系統持續監測傳感器狀態、運動趨勢、人機距離及決策穩定性,一旦檢測到風險,可在不同層級采取干預措施,從動作約束到策略降級,確保行為不越界。在數據安全層,平臺通過本地推理、加密傳輸和系統完整性保護機制,防止數據泄露與系統篡改,使機器人在數字層面同樣具備可信基礎。
在真實世界中,機器人常面臨矛盾:傳感器“看得清”、算力“足夠強”,但整體行為遲緩、割裂,甚至在復雜場景下出現不穩定動作與判斷。這種現象源于系統層面缺乏統一協同機制。以服務或巡檢機器人為例,在人員密集環境中行進時,視覺系統需持續識別行人與障礙物,定位系統更新位姿,規劃模塊實時調整路徑,控制系統保證運動平穩,同時上層任務邏輯可能接收新指令。若這些能力獨立運行在相互隔離的子系統中,數據在多次拷貝與異步調度中流轉,系統易出現延遲累積、決策滯后或行為不連貫。SesameX通過異構算力融合,使感知、推理與控制接入同一算力網絡,由統一調度機制管理。不同任務根據實時性與安全等級分配至最合適計算資源,避免關鍵控制任務被高負載推理干擾。系統層面,統一數據通路與任務表達方式將感知結果、決策邏輯和控制指令納入同一執行鏈路,縮短從“看到”到“行動”的反應路徑。智能表達層面,平臺通過原子模型與任務圖組合,將復雜行為拆解為可復用、可組合的智能單元,使機器人能根據環境動態調整行為策略,而非依賴固定流程。
SesameX多維具身智能計算平臺提供了一套從硬件模組到系統軟件的完整計算體系,目標是為機器人廠商與算法伙伴提供可靠、可擴展的基礎平臺。平臺通過模塊化設計、統一接口與兼容主流生態,降低系統集成復雜度,加速產品從研發到量產的進程。計算平臺層由自主研發的三款計算模塊Kalos、Aura和Liora構成,分別滿足不同類型與復雜度的機器人算力需求。模組內部高度集成SoC、內存、電源管理與時鐘等設計,兼容主流底板接口,支持豐富I/O,包括MIPI、CAN-FD、以太網、USB、SPI與I2C等,使開發者可直接面向系統級方案設計。平臺具備從實時控制到大模型推理的穩定性能,Kalos與Aura體積緊湊(分別為69×55mm與82×54mm),適合部署于敏感空間或移動場景。這一層為機器人提供可量產級硬件基礎,幫助不同形態機器人以最低成本快速進入功能調試與商業測試階段。
SesameX Network作為系統級通信與數據編排層,負責在機器人內部構建統一實時協同體系,并支撐機器人與邊緣節點、云端之間的穩健無線互聯。網絡子系統基于確定性以太網(TSN)構建內部主干,使感知→算力→控制鏈路具備可預測的端到端延遲與帶寬保障;通過集成多路高帶寬數據通道,可同時承載高分辨率MIPI視頻流、10GbE數據交換及跨單元共享SRAM的高速訪存,實現視覺、SLAM與推理任務的并行數據供給。系統還實現面向WiFi7/5G的低時延無線協同協議,使機器人在與邊側節點進行分布式推理、任務共享時維持毫秒級鏈路抖動。底層數據管線采用Zero-copy通路設計,使感知流可直接進入推理路徑,避免多級緩存拷貝帶來的額外延遲與功耗開銷。借助上述通信機制,SesameX Network為機器人構建起可擴展的實時協同計算結構,使其在單機、集群與邊云協同環境下保持一致的實時性與數據一致性。
在操作系統層,SesameX提供統一軟件運行環境,支持Ubuntu、ROS 2及自研的SesameX-RTOS,平衡通用開發生態與實時控制需求。平臺原生集成ROS 2,與行業主流算法框架無縫對接;通過RTOS與Linux協同調度機制,使高頻控制環與大模型推理任務具備確定性時間片分配與干擾隔離能力。系統級安全隔離能力支持不同任務、不同權限在內核與用戶態之間強隔離,確保運行安全性與可驗證性。OS層提供統一軟件抽象,使Kalos、Aura和Liora等多款模組可在同一系統架構中保持一致運行體驗。這一層決定了整機的可靠性、實時性與可擴展性,是支撐上層感知、規劃與控制能力的根本。
SesameX中間件層由調度引擎、工具鏈和Runtime構成,形成機器人系統的“中樞神經網絡”。調度引擎負責跨模型、跨任務及跨算力單元的協同調度,通過優先級機制與任務隔離確保關鍵任務不被資源爭搶,安全域任務獲得最高級別實時執行權。工具鏈組件提供并行編譯、混合精度加速、Transformer結構優化、自動量化與算子級優化等能力,使模型在不同模組上獲得最優延遲與算力利用率。SesameX Runtime對CPU、DSP、NPU與MCU進行異構融合調度,通過模型沙箱化、實時自調優和故障隔離,實現多模型并行執行與多單元算力的動態分配。借助中間件層的統一抽象和調度體系,機器人智能從“分散式算力塊”演進為“統一調度的大腦結構”,獲得更平滑的動作生成、更低抖動的實時響應與更高的系統魯棒性。
原子應用層通過將復雜任務分解為最小可復用的原子技能(Atom Skills),并進一步抽象為可組合的原子模型(Atom Models),構建可動態編排的智能行為體系。該層基于任務模型(Task Model)實現運行時的技能組合,使機器人無需硬編碼流程即可根據環境與目標在線生成行為序列。核心能力包括覆蓋視覺、定位、融合、規劃、控制、語言與多模態等多類別的原子技能庫;基于Skill Graph的任務圖生成機制,通過結構化圖模型驅動機器人行為;跨機器人平臺的模型復用能力,使不同機器人可共享如VSLAM、目標檢測、軌跡生成等原子模型;以及支持實時任務編排的動態行為組合,使機器人能根據情境變換重構任務執行鏈路。這一層使機器人首次具備類似“思維積木”的智能能力,智能行為從固定邏輯轉變為可組合、可擴展、可實時演化的任務體系。
系統安全層構建“由下而上、多級聯動”的安全體系,從物理行為延伸至決策安全、主動預警和數據安全,貫穿機器人生命周期全部環節。L0層為本能反射層,通過電機斷電、STO、限位、限扭、急停等機制構成“本能反射”,確保極端情況下不造成物理傷害;L1層為動作審查層,由MCU/R5F等實時控制單元構建動作審查系統,以毫秒級速度監測速度、加速度、力矩和關節狀態,阻止不合理動作;L2層為安全軌跡層,即使決策模型輸出異常,也會自動降級為“安全軌跡”,防止機器人進入風險區域;L3層為策略防護層,所有任務、計劃和策略在下發前經過校驗,確保不突破安全邊界;L4層為主動預警層,由多模態感知驅動,實時監測人機距離、接觸風險、速度趨勢和傳感器健康狀況,提前100ms預測危險并觸發限速、減速或停機;L5層為數據安全層,通過本地推理、數據不上云、端到端加密、NOC防火墻與安全啟動機制,保障大腦與隱私的最高級守護。這種自底向上的安全架構,是機器人從“小規模示范走向大規模落地”的根本前提,也是SesameX平臺的核心價值。
SesameX多維具身智能計算平臺的核心價值不在于單一算力提升,而在于提供從端側模組到全腦智能、從硬件到底層軟件、從模型到安全的完整系統體系。平臺通過六層架構實現行業首次全鏈路統一:硬件層統一模組化、高集成、跨形態適配;通信層統一TSN、萬兆以太網與WiFi7/5G組成實時神經網;OS層統一Ubuntu+ROS 2+RTOS組合;中間件層統一調度引擎、工具鏈與Runtime構成異構算力協調的“大腦操作系統”;智能層統一原子模型+任務模型+Skill Graph讓智能像積木一樣擴展、復用與重組;安全層統一六層安全體系自底向上守護。這種高度一體化的系統結構,使SesameX成為真正意義上的“機器人全棧智能底座”,讓機器人不僅能穩定運行,更能隨環境變化持續成長;不僅能執行任務,更能具備理解能力;不僅能處理感知與控制,更能實現全腦協同的認知智能。SesameX的意義不僅在于讓機器人“動得好、看得懂”,更在于建立起一條從感知到智能、從安全到進化的系統級高速路,為機器人規模化落地提供前所未有的統一基礎。




















