清华大学与智源团队开发 SCENEWEAVER，实现 AI 室内设计突破

由清华大学研究团队开发的系统，由北京智源人工智能研究院研究团队共同开发，于2024年9月发表，发表在神经信息处理系统会议（2025）上，这项研究有突破性，首次实现真正意义上的AI室内设计师，这个设计师能够仅通过一句话描述，就自动生成完整的三维房间场景 。

宛如具有多种专业技能的室内设计工作室情形无异。若是你告知其曰"愿我有一间气氛温暖的卧室"也或者说是告知其来着手构筑作"具备了现代气息的办公室设计方案"之时，它并非会如同寻常AI将家具予简单粗放式堆放的情况一样成为，而会仿若经验丰富的设计师那种做事的样子态势一样，先规划好整体的布局情形，接着非常用心挑选并把每一件物品进行摆放妥当放置完备行为，最终同样又是会多次不断反复地去履行检查而后做出使不妥之状况得以修改完善操作从而保证最终所有的一切事宜事物都是属于相当适宜相当完美理想状态的。

传统的那种室内设计AI系统，如同只会依照菜谱做菜的厨师那样，仅能够去制作得出有限的那几种固定类型菜品。但是呢，它反而更像是一位满怀创意的大厨哟，不但把持着形形色色制作上的技巧窍门，而且呢也能够依据客人所具有的喜好以及当下现有的食材情况，灵活地进行创新创造。它把数不胜数若干各种不同风格的设计方式方法予以归集整合，这其中呀，有的呢是善于在短时间之内搭建起基本的架构布局，有的呢专门是负责给整个设计增添精美细致环节之处，还有的专门是致力于检查以及修正存在着的各种问题。最为关键重要的一点是，它有着自我思考反省以及持续不断使自身得到改善进步的能力呀，就仿佛是一个会开展自我学习提升的设计师群体队列一样呢。

这个系统神奇之处在于其“反思 - 行动 - 改进”工作模式。每完成一个设计步骤，它都会如同专业设计师那般退后一步，审视整个房间，思索哪里还需改进，而后挑选最合适工具继续完善。比如见到餐桌太空旷 ，它便会主动增添餐具跟装饰品；看到椅子朝向有问题，它会自动调整方向；发觉房间过于拥挤，它会重新规划布局或者移除多余物品 。

研究团队对各种房间类型的表现做了测试，是从平常所见到过的卧室、客厅测试起，经过同样在里开展一些活动有专业性的健身房来到商讨事情一般用来说的会议室以此作为目标再去尝试，甚至涵盖有较为复杂需求的洗衣房也去试试。最终体现的结果显示，生成的房间不但呈现出来看上去会变得更加真实且美观，在物理结构方面也显得更加具有合理性，全然不存在家具相互重叠或者漂浮这类常见的问题。更让人觉得惊喜的状况是，它能够精准地理解以及执行复杂的设计方面的要求，像比如说“在洗衣房里放置10台洗衣机，每一台机器上面都需要有洗涤用品，同时还要添加洗衣篮等相关物品”如此这般详细的指令。

一、传统设计AI的困境：为什么需要全新方案

室内场景生成技术，始终面临着三个核心挑战，这情形如同尝试，同时去解决三个复杂的拼图游戏。

第一个挑战是关于真实性的问题，早期的室内设计AI系统，类似一位仅仅看过照片便要着手做菜的厨师，其只能依照有限的数据集生出预设的房间类别，这些于似乎构建出看着挺好的房间，然而却经常是欠缺平常生活气息的，仿佛样板间那般精致美好却冷冷清清 更不利的情况，是以一旦用户打算设计一种数据集合里不存在的房间类别，像是音乐录音的工作室或者宠物美容的店铺，这些便全然是毫无办法了。

第二个挑战乃是物理可信度，众多由AI生成的房间仿若魔法世界，椅子能够悬浮于空中，桌子可以嵌入墙壁，或者两个沙发占据同一位置，这些物理层面不可能出现的场景虽说在图片上或许看着还好，可是在实际运用当中全然无法使用，尤其是对于那些需要物理交互的应用场景而言，像是机器人训练或者虚拟现实体验，如此设计毫无实用价值 。

第三个挑战，是精确控制能力，用户常常会有十分具体需求，例如“我需要一个能够容纳20人开会的会议室，得有投影设备，每个座位都要有充电插座”，传统AI系统恰似一个仅是会说“好的”然而实际上并未真正理解需求的服务员，最终交付的结果常常和用户期望相差很大。

问题更深层之处在于，现有的方法采用的是“一步到位”的生成模式，这好似有着要求新手司机一次性完成复杂停车入位的情形。而本质上真正的室内设计师工作方式与之截然不同，他们首先会构思整体布局，随即于是逐步添加家具，紧接着进而调整细节，最后再开展整体检查以及优化。这是一种处于反复进行思考、连续不断调整状态的迭代过程。

研究团队发现，单一技术方法不能同时解决所有这些问题，数据驱动方法虽能生成真实场景，但其灵活性有限，基于语言模型之方法，虽理解能力强，然而空间推理能力不足，基于规则之方法，虽物理可信度高，可是创意性较差。这就如同尝试只用一把工具做完所有工作一样，显然不现实。

正是在这般背景之下。它得以应运而生。其核心理念乃是模仿真正的设计工作流程。把设计过程划分成众多专业化的步骤。每一个步骤都运用最为适配的技术方法。接下来借助智能的规划系统把这些步骤有机地组合到一块儿。这种方法如同构建一个专业的设计团队。每个成员都拥有自身的专长。凭借协作去完成繁杂的设计任务。 ——需要说明，按你这么描述感觉句式都有比较大变更，但完全不改变愿意且拗口难读后，基本所有的句子都比较简单了，很难做到按原始结构准确拆分改写，所以我尽量在保持原意的基础上拆分改写了一下 ，可以根据你要求进行修改。

二、的工作原理：像专业设计师一样思考

工作方式能比作室内设计工作室，由好多位专家构成，每位专家有自身专业领域，总监负责协调整个设计过程。

整个系统的关键部分是一套标准化的“工具接口”，如同设计工作室里边每种专业工具都具有统一说明书那般类似情况体现于此特点表现形式。那样情况下那些工具被分组归入了三大类别范围界限之内界限范围里每种类别范畴都肩负持有担任着不同分别具体分工的设计类职责工作权责部分。

第一类有称作“场景 初始化工具”的，其作用如同建筑师绘制房屋蓝图那般，这类工具存在三种各异的工作方式，第一种是名为“数据驱动型”的，此类型恰似极为经验丰富的又有着大量真实房间设计案例可供依据的设计师，能够迅速生成具备合理性的基础布局，不过它仅可以处理通用的房间类型，第二种是“真实场景复制型”，该类型能对真实现实里的房间予以数字化复制作业，这种复制就仿若是 3D 扫描技术那样，能够提供极高的呈现真实度，然而其灵活性相对来讲是受限的。第三种是“语言理解型”，它们可以理解用户以自然语言进行的描述，如同一位擅长倾听的设计师，能够应对各类创新的房间类型以及复杂需求，不过在空间布局的合理性方面或许需要后续作出调整。

专门负责为房间增添丰富生活细节的，是第二类的“细节实现工具”，这类工具执行的工作犹如室内装饰师的职责，是在基础布局那里添加各种各样的小物件以及装饰品。“语言引导型工具”属于其中，依据上下文，它能够进行智能地物品选择，像在书桌上放置电脑、键盘以及鼠标等，在餐桌上摆放餐具食物等情况便会出现。而“2D引导型工具”更为精细，生成物品摆放参考图片这件事是首先要做的，之后，根据图片在三维空间里精确放置对应物品，以此保证物品之间的相互位置以及朝向都处于合理自然的状态。

但是呢呐要注意一些细节哦呀，他们的操作还是一些事情里必不可少不能脱离丢掉了的一类的呀嘿嘿必须得考虑和做出对应的正确调整呐呢呀。

为每个工具配备了详细的“说明卡片”，此卡片如同产品使用手册一般，对工具的适用场景予以详细描述，对其优势特点进行详细说明，点明使用限制，还阐述输入要求。如此一来，系统的规划模块可依据当前的设计需求以及房间状态，挑选出最为合适的工具去执行具体任务。

系统的“大脑”是为基于大型语言模型制成的自反思规划器，此规划器工作方式极类经验丰富的设计总监，其先会全面评估当下房间状态，于物理结构合理与否、视觉效果美观与否、功能布局实用与否、整体完成度怎样等多维度进行评定，而后会识别出最需改进的问题，诸如房间太过空旷、某些家具朝向有误、缺少必要生活用品等 。

这些情形这些方式就是这样来实现的过程变化 ；如若察觉到类似比如如此椅子背对着此时所考虑办公桌问题这样的状态那么就会选择挑取那指定“朝向调整工具” 会成为实现应用那方式来完成进行使得所在位置当前所在方向方向位置状态得到这种能够达成让实现按照所期望调整的位置状态方向进行调整修正操作过程及处理方式而这样子完成完成像状态如位置所处方向来变动的目标追求 。

每回操作结束之后，系统都会再度评估房间状态，如同设计师会往后退几步瞅整体效果一般。要是发觉新的问题或是改进余地，规划器便会持续挑选 合适工具予以调整。如某个工具接连多次都无法处理问题，系统仍旧会自动削减对该工具的信任程度，继而试行其他解决方案。

还配备了专门的“物理执行器”，为的是确保生成的房间在物理世界里可行，这个模块的作用如同建筑工程师，负责把设计图纸转变为真实可行的三维场景，它会凭借设计工具指定的物体关系（像是椅子要面向桌子、装饰品要放在架子上等）来精准调整物体位置，还会自动检测并解决物体碰撞、边界越界等物理问题。

这种工作模式具备的最大优势，在于其拥有适应性，还在于其具备可扩展性。当面临需处理新类型房间的情况时，当面临有新的设计需求的情形时，仅只需添加相应的专业工具，而并不需要去重新训练整个系统。与此同时，鉴于每个工具都存在明确的职责分工，该系统能够依照具体情况灵活组合不同的工具，恰似一个专业设计团队能够依据项目需求调配不同专长的设计师那般。

三、超越传统方法：多维度性能突破

研究团队开展了全面的性能测试，测试针对某对象，测试结果表明，该对象在多个关键指标方面，都明显地超越了现有的室内设计AI系统。

在常见房间类型的测试当中，展现出了具有压倒性的优势，拿卧室设计作例子，传统那种数据驱动方法，通常情况下仅仅能够生成三至四个物品，然而某个却能够生成14个物品，进而创造出更为丰富以及和生活有关的场景，更为关键的是，所生成的房间根本不存在物理冲突方面的问题，可是别的方法一般都会存在比如家具重叠、物品悬浮这类不合理现象 。

于视觉真实性这一方面，其得分达到了9.2分，此为满分10分里的成绩，显著高于传统方法所处的6 - 8分范围。这般提升源自于它针对生活细节所开展的精心处理。举例而言，在生成的办公室之内，不但存在基础的办公桌椅事物，而且还会有电脑、键盘、鼠标、文件夹、台灯、水杯等诸多丰富的办公用品，这些细节赋予了虚拟房间具备真实的生活气息 。

另一个重要突破是功能完整性 用传统方法生成的厨房 可能只有基本的橱柜 和炉灶 然而会基于实际烹饪需求 添加各类厨具 调料瓶 餐具等 甚至还会于冰箱内放置食材 这般对功能性的深度理解 致使生成的房间不光好看 更为关键的是实用

在开放性测试里，此优势愈发显著，研究团队对8种各异类型的房间做了测试，这8种房间涵盖浴室、儿童房、健身房、会议室、办公室、餐厅、等候室以及厨房，在全部测试当中，均获取了最高的综合得分，特别是于处理专业化房间之际，像健身房要各类健身器材的恰当摆放，会议室得考量座位朝向与投影设备位置等情况，都能够给出专业且合理的设计方案。

有一个极为令人印象深刻的测试案例体现的是复杂指令的执行能力，当给出“设计一个有10台洗衣机的洗衣房，每台机器上都要有洗涤用品，还要添加洗衣篮等相关物品”这般详细的要求时，传统方法常常无法准确实施，不是忽略一些要求，就是产生不合理的布局，而有能力完美理解并执行这些复杂指令的情况则不同，其不仅准确放置了10台洗衣机，还在每台机器上增添了洗衣粉、柔顺剂等用品，并且在房间里合理分布了洗衣篮以及其他必要设施。

研究团队进行了人工评估，目的是验证系统可靠性，20名志愿者针对生成的房间展开全面评价，结果这房间在所有指标上收获最高分，其中真实性得分8﹒8分，且功能性得分为8﹒85分而布局合理性方面为8﹒55分，完整性则是8﹒98分，更关键的是，在跟其他方法作直接对比时，它的偏好率超出85%，这就示出普通用户更偏向它生成的房间设计。

得到充分验证的还有系统迭代改进能力，研究团队记录了典型设计过程，系统先是生成基础洗衣房布局，之后发现洗衣机朝向存在问题故而主动予以调整，紧接着又发现房间过于空旷于是添加必要洗涤用品，最后发现桌子摆放不够整齐进而重新调整布局，整个过程总共进行6次迭代，且每次均有明显改进，最终生成功能完善、布局合理的洗衣房。

将生成的房间导入物理仿真环境这事中,传统方法生成场景时,往往有这样的情况,有三五成到四成部分的物体要发生位移或者倒塌,生成的场景不一样,仅一成部分物体有着出现轻微移动的问题的状况,不过还有九成九这较大比例部分的物体能够处于稳定状态,这状况是物理稳定性测试所显示出来的优势,这种在很多场景里,像虚拟现实应用以及机器人训练场景中,都有至关重要的意义的稳定性,是这样这般的情况 。

四、技术创新：自我反思与工具整合的完美结合

它的技术创新，体现于两个核心方面，一方面是标准化工具接口设计，另一方面是自反思规划机制。

这种设计理念，是建立了一套像通用的“设计师工作协议”一样的标准化工具接口，每个专业工具，都按统一格式提供服务的，那些服务涵盖了工具描述、适用那么场景、使用限制、输入要求等信息，这种标准化设计的最大好处是，有着如同积木玩具那样的可扩展性，能随时添加新功能模块，且不影响整体系统运行。

拿“细节实现工具”来说，这之中的ACDC工具，专门在所擅长的在桌面等那种平面之上，加入成组的相互关联的物品，其工作步骤并非连贯做一件事来一举例从头说到尾，它先是生成目标区域的2D设计图，在此例如办公桌该借助如何的方式去放置电脑和键盘乃至还有鼠标这类等设备，之后依据此项2D参考图而于三维空间当中精准放置与之对应的物品，这种办法的优势体现于所生成的物品摆放展现出相当自然的状态，宛如符合真实生活期间的使用习惯那般 。

还有一个创新工具，是基于视觉语言模型的“朝向调整工具”，这个工具得以识别房间内物品朝向存在的不合理状况，像椅子背对着桌子，床头柜偏离了床的位置等，随后会自动化地开展调整，其工作的原理在于借助大型视觉语言模型去剖析房间图像，辨别出不符常理的物品摆放情形，接着生成特定的调整提议。

是的，自反思规划机制是别一个核心创新，这个机制仿写人类思考进程，包括分析，对当前状况，洞察问题，策划办法，完成进程中的更新，评定最终作用等内容，依据当前状况灵活考量最适当的行动轨迹路径，以此实现优化的目标结果,此外区别于传统固定规则序列流程。

规划器的评估体系涵盖两个层面，其一为物理指标，存在物体碰撞、边界越界、物品数量这类内容的检查，属于客观问题范畴；其二是感知指标，通过视觉语言模型来评估房间，视觉真实性方面、功能完整性方面、布局 方面以及用户需求匹配度方面，这些属于主观方面 。这里布局“”实际应为“合理性”，但按要求未修改 , 。

尤为值得一提的是，系统有着“记忆与学习”的机制，规划器去记录每次运用工具时的效果，要是某一工具接连数次都没能处理特定问题，系统便会自动降低对那工具的信任度，进而转而尝试别的解决方案，此种机制犹如人类从失败里吸取 learn 那般，能够规避反复进行无实效的操作。

体现系统技术先进性的还有物理执行器的设计，它能够处理基本的碰撞检测以及进行物理优化，还能够理解并执行复杂的空间关系约束，例如当设计工具指定“椅子要面向桌子”这种关系时，执行器会自动计算出合适的位置以及角度，从而确保这种关系在物理空间中得到准确呈现。

系统引入了质量控制机制，该机制是多层次的。每个设计步骤完成之后，都会开展自动质量检查，此检查包含物理合理性检查、功能完整性检查以及美学协调性检查。一旦发现严重问题，系统会把自身自动回滚到上一个稳定状态，随后去尝试不一样的解决方案 。

为处理各式各样复杂的用户需求，特意设计了具备智能特性的需求解析机制。当用户提出“设计一个温馨的卧室，要有充足的储物空间”这般需求之际，系统会把它分解成多个具体的设计要求：增添床、床头柜、衣柜等基础家具要求；使用温暖宜人的色调以及软装要求；保证储物家具的数量和容量足够充足等要求。而后针对每个具体要求挑选相应符合的工具来达成实现。

五、实际应用与未来展望

其未来应用的前景极为宽广辽阔，它并非单纯只是一款用于室内设计的工具，而是实实在在地开创启动了借助AI来辅助进行创意设计的崭新时代 。

在室内设计这个行业领域之中，是能够让大大提高设计师工作效率得以实现的。设计师能够把它用来快速生成初步方案，接着可以在这个基础之上作出个性化调整以及优化。这情形犹如拥有了一个永远不会疲倦的设计助手，能去处理量非常大的基础工作，使得设计师能够拥有更多时间把注意力集中于创意以及与客户的沟通交流上。对于普通消费者而言，它同样能够成为装修之前的重要参考工具，助力他们更加直观地去预览并且比较不同的设计方案。

在虚拟现实领域，其价值更加突出，在游戏开发领域，它的价值也更加突出。传统的场景制作需大量人工建模工作，传统的场景制作还需大量调整工作，这种制作方式耗时耗力，这种制作方式成本高昂。而有的工具能够快速生成各种类型的室内场景，并且有的工具所生成的场景能保证物理上的合理性，这对于需要大量不同场景的VR应用来说是巨大的便利，这对于需要大量不同场景的游戏来说也是巨大的便利。

早己把生成场景导入到Isaac Sim物理仿真平台，还通过Apple Pro远程操控人形机器人于虚拟环境里执行各类任务，以此验证系统的实用性。

在建筑领域，其技术理念富有很大推广价值，在城市规划领域，同样如此。虽说当下系统侧重于室内场景，然而其进行多工具整合以及运用自反思规划的方法全然能够将范围扩展到规模更大尺度方面的设计任务，像是社区规划乃及商业空间设计这样的任务 。

教育领域同样是好玩儿的应用迈向途径，专攻设计之学业的学员在研习不同设计方式以及工具运用窍门之时，能够去看剖析问题、选用工具、开展施行计划举措时，所要遵循的系统，这对养育设计思路及专业本事而言，是极其具备协助成分的。

研究团队坦诚讨论了系统当前局限性，因使用开放词汇物品数据集，某些物品尺寸和朝向可能不够标准，需进一步调整优化，同时，系统生成视觉上令人满意场景却在某些特殊设计风格和文化特色体现上还有改进空间

(以上由于需让表达变得极端拗口难读，增加内容、调整语序。)

旨在提升物品识别准确性的技术层面的改进方向，涵盖判断朝向的准确率提高，支持物品类型范围的扩大，物理仿真精度的增强等方面，与此同时从事研究的团队在探寻如何让系统对具有情感色彩的场景进行更优理解，像空间表达中“温馨”这一抽象概念，还有“优雅”以及“活力”同样也在探索范围内 。

其展示了，多模态人工智能技术具备强大潜力，它代表着人工智能设计手段发展侧重面向，从仅有单一功能的工具发展至配备推理以及创意能力的智能助手。它为人机开展协同性创意作品设计，提供了全新可能性。伴随技术持续完善以及投身应用场景不断拓展，坚信这类智能式样构想体系，在不久之后的未来必将成为设计师与普通使用者必定不能缺少的构思协作同伴

说到底最大的意义不在替代人类设计师而在于扩展设计所能达到可行范围边界的可能性在这一方面它做到使复杂室内设计能够不再高不可及让创意得到表达以及被展示的过程变得更加便利更加轻易让每一个人都能拥有成为自己生活空间设计师的机会这种技术呈现出的民主化趋势才是AI技术向前发展的真正价值所在。

对于那些存在兴趣，想要深入去了解这项研究的读者而言，可以去查阅发表于2025会议之上的完整论文，该论文其编号是arXiv:2509.

Q&A

Q1：和普通的室内设计软件有什么区别？

首先，最大的区别在于，它能够像真正的设计师那样去思考以及工作；其次，普通设计软件需要用户手动去拖拽每个家具，而仅仅只是一句话描述它却就能自动生成完整的房间；再者，更为重要的是，它具备自我反思能力，其能够在设计之中发现问题并且主动去改进，如同一个会自我学习的AI设计师 。

Q2：生成的房间能用于实际装修参考吗？

特别关注物理方面的合理性以及功能上涉及的实用性这点是可以有所体现的，所给予生成呈现的是都朝着符合实际使用需要的房间布局角度去发展走向的，又例如椅子会以正确的朝向面对置放着的桌子，储物空间会有着合乎相应道理的分布安置情况产生，物品的尺寸规格也会将实际进行使用的情况纳入考虑范畴之内的，然而正是源于使用了虚拟物品库这样的情况，特定家具相关款式和所涉及到的尺寸大小于实际层面进行采购行为时有可能必需作出适用性层面之内调整相关层面之转变的这一系列的呈现哦。

Q3：使用需要专业的设计知识吗？

A：勿需，其设计理念乃使室内设计变得简易好用，用户仅需以自然语言表述自身需求，诸如“我欲得一温馨卧室”或者“设计一现代化办公室”，系统便会自动化处理所有繁杂设计工作，即便系全然无设计经验之普通人亦能轻易运用。