MULTIMODAL AIoT INTELLIGENT TERMINAL · 多模态 AIoT 智脑终端

LifeFriend

人生数据库

基于记忆框架下的多模态生活助手

一台双形态智能终端——桌面端立于案头、佩戴端随身而行,无感记录你当天看到、说出、听到的一切,由多模态大模型转写成可检索的人生记忆,并借助 MCP 工具链替你主动做事——感知,记忆,执行,形成一个不被打断的智能闭环。

2025· 第18届全国大学生计算机设计大赛 · 二等奖
7×24阿里云云端稳定运行
感知 — 记忆 — 执行Agent 闭环
LifeFriend 双形态同框:左侧桌面端(方形机身,内置可追随人脸的云台摄像头),右侧佩戴端(圆润胶囊,无感采集音视频)
双形态 · 桌面端 + 佩戴端ESP32-S3 边缘终端 · 无感采集
SCROLL
从「被动应答」到「会记忆、会做事」

传统硬件没有长期记忆,
LifeFriend 把这一环补上

大多数智能终端只能在你喊它时才回答,转头就忘。而人生数据库从头搭建一套自主循环:先无感地看见与听见,再沉淀为可回望、可检索的记忆,最后自主调用工具替你完成动作。

01 · PERCEIVE 感知

无感采集 · 音视频推流

ESP32-S3 边缘端实时采集音视频,经 WebSocket 无感推流,无需唤醒词、无需触碰——生活自然发生,数据自然记录。

02 · MEMORIZE 记忆

跨模态记忆入库

多模态大模型把影像、语音、文字转写成结构化的记忆片段,向量化存入长期记忆库——会议纪要、灵感、对话,都能被检索与回望。

03 · ACT 执行

MCP 工具链自主执行

系统感知当下环境与记忆目标,自主调用外部 API——发邮件、建日程、设提醒,让「想起来」变成「已经完成」。

能力矩阵 · CAPABILITIES

让一块硬件
拥有理解与行动力

设备多维传感器与 OLED 屏实时显示状态

多维传感器数据 SENSOR

温湿度、姿态、电量、拾音与环境光融合上报,多维数据伴随记忆一同入档,让「回忆」带上现场的气息。

说话人识别——音频波形与发言者识别提示

说话人识别 VOICE

区分「谁在说」,让每一段记忆都有主角。会议里谁提出了什么,回放时一目了然。

场景级目标识别——桌面上键盘、鼠标、笔等目标检测框选

场景级目标识别 VISION

看懂眼前的物体与环境,把「看到什么」还原成「发生了什么事」,成为事件记忆的可视化锚点。

系统架构 · ARCHITECTURE

边缘采集 → 云端理解 → 记忆引擎

佩戴端只管无感采集,理解交给云端大模型,记忆沉淀进独立的记忆引擎。低延迟、可扩展、随取随用。

  • 01 佩戴模块 / 穿戴终端音视频无感采集 · 边缘推流 WebSocket
  • 02 设备接收后端服务FastAPI · 多模态大模型 · 意图理解 RESTful API
  • 03 应用程序 / 网页设备管理 · 会话 · 日程弹窗提醒 HTTP
  • 04 记忆引擎向量化 · 记忆区间 · 权重自调整 Vector DB
ESP32-S3PythonFastAPIMCPWebSocket边缘计算
系统架构图:佩戴模块与网页经 WebSocket/HTTP 接入后端大模型服务,再经通信管线连接记忆引擎
内核 · MEMORY ENGINE

记忆引擎:人生数据库的内核

记忆不是简单堆积,而是一套会生长的系统——常用记忆上浮,久未触及的记忆自动沉降。

记忆引擎三维示意图:生成层、活动记忆区间、事件层与记忆粒子权重调整
◍ MEMORY PARTICLES · 记忆粒子随相似度自动调权
多模态数据预处理三阶段:数据接收→预处理→模型→事件层/场景层/关系层
◍ THREE-LAYER ABSTRACT · 事件 · 场景 · 关系
事件层EVENTdate-layer · 事件层
活动记忆区间WORKINGworking-memory-span · 检索优先
权重自调整AUTOincrease / reduce weight · 边缘计算优化
品牌全貌 · BRAND BOARD

一张图,看懂整个产品

佩戴方式、设计图纸与设计过程、跨模态记忆新方法、出行新方式、全新设备架构与全新 MCP 协议——都集中在这一张设计全貌里,点击可放大细看。

品牌全貌 · LifeFriend · 人生数据库 · 基于记忆框架下的多模态生活助手
设备形态 · TWO FORMS

同一种大脑,两种形态

把「感知—记忆—执行」整套智能,分装进两台终端:一枚随身佩戴的生活节点,与一台替你把视界盯住的视觉终端。

LifeFriend 双端同框:左侧为桌面端(较大的方形机器,内置可追随人脸的摄像头),右侧为佩戴端(较小的圆润胶囊)
桌面端(左)· 佩戴端(右)
⌚ 佩戴端 · WEARABLE

随身的感知节点

佩戴端产品图——白色圆润胶囊机身,摄像头与 OLED 屏,可佩戴或握持

小而圆润,随身佩戴或握在掌心。它同样带视觉模型、看得懂眼前的场景,只是摄像头固定不动;OLED 一点即亮,把当刻状态讲给你听。

  • 轻巧便携 · 佩戴或握持
  • 内置视觉模型 · 看懂场景
  • 摄像头固定 · 无感采集音视频
⦿ 桌面端 · DESKTOP

桌面的动态之眼

桌面终端特写:上方摄像头模组与下方 OLED 屏

个头更大,和佩戴端一样带视觉模型;但它那支摄像头会自己动——云台舵机带着它追随你转动,始终把人与场景收进镜头。

  • 摄像头可追随人脸转动
  • 同样内置视觉模型
  • 云台舵机 · 替你盯住视界
桌面终端内部结构:摄像头与云台舵机、ESP32-S3 主控板、3D 打印壳体
此刻在看谁 · FACE TRACKING

你把头转开,它跟着转

同样是眼睛,桌面端这双会动——视觉模型实时定位人脸,云台舵机带着摄像头追随你转动。它追得住你,才记得住你。这正是桌面端区别于佩戴端的地方。

像连路由器一样 · AP SETUP

开机即热点,连上就能配

设备自己就是一个迷你 AP。手机连上它的 Wi-Fi,打开配置页填好 Wi-Fi 与 WebSocket 服务端地址,它便上线——熟悉得就像配一台路由器。

LifeFriend 配置页:填入 Wi-Fi ssid / 密码与 WebSocket 服务端地址
原型与装配 · PROTOTYPE & BUILD

从电路板,到一枚枚组装成型

自主完成结构设计与外壳建模,把摊在桌面的原型,收进一台台圆润的白色终端里。

两枚组装完成的白色 LifeFriend 终端成品
成品终端 · 白色胶囊外壳
LifeFriend 终端的 CAD 三维拆解图:顶盖透窗、中框卡扣、主控板与底壳的层叠结构
CAD 三维拆解 · 顶盖 / 中框 / 主控 / 底壳
终端拆解内部:主控板、SD 卡槽与电池
内部结构 · 主控 / SD / 电池
样机搭建阶段:面包板上的 ESP32 模块、电池与主控
模块联调 · 电源与主控
手持已构建的终端,OLED 屏点亮显示读数
OLED 点亮 · 状态可视
面包板原型阶段,OLED 屏与增量编码旋钮
原型阶段 · 面包板搭建
软件 · SOFTWARE EXPERIENCE

一块屏,看见记忆与设备

网页管理后台:设备信息、位置地图、会话时间线与日程记忆弹窗 WEB CONSOLE · 设备信息 / 记忆时间线
移动端 App 界面:服务器设置、websocket 连接状态与记忆云入口 MOBILE APP · 随身管理

日程记忆自动建单

识别到「明天下午的约会」,系统自动帮你建日程并在前端弹窗提醒,重要的事不再错过。

设备状态一目了然

RAM / SD / 电量雷达图、实时位置地图,以及「关于本机」的设备标识与网络信息。

移动端随身管理

连上即可用:websocket 服务、记忆云、个人资料集中管理,硬件状态随时掌握。

演示 · PROJECT DEMO

看它如何感知、并替你记住生活

项目答辩演示 · 含硬件实拍与系统运行

2025 年第十八届中国大学生计算机设计大赛 二等奖 奖状
荣誉 · RECOGNITION
2025 · 全国二等奖

荣获第十八届中国大学生计算机设计大赛全国二等奖。这套「感知—记忆—执行」的多模态生活助手,以一套全新的设备架构与全新 MCP 协议,在智慧生活领域完成一次从硬件到软件的完整落地。

核心开发自研外壳结构与装配阿里云 · 7×24 稳定运行
技术栈 · TECHNOLOGY

一套完整的技术底盘

PythonFastAPI多模态大模型MCP边缘计算WebSocket向量数据库ESP32-S3