lance

Lance 是一个专门为多模态 AI 设计的开源湖仓格式，它能帮你解决一个很实际的痛点：当你的数据里既有图片、视频、文本，又有向量嵌入时，传统格式（比如 Parquet）在随机读取和搜索性能上根本跑不动。Lance 的卖点很直白——用两行代码就能把 Parquet 转成 Lance 格式，随机访问速度直接提升 100 倍，还自带向量索引和全文搜索功能。这意味着你不再需要为了不同任务维护多套存储系统，一个格式就能搞定特征存储、检索和训练数据管理。 技术上，Lance 的核心创新在于它把 OLAP 列式存储的优势和向量检索做到了同一个格式里。它支持 BM25 全文搜索和向量相似度搜索的混合查询，还能跟 SQL 分析一起跑，相当于把搜索引擎、数据库和向量数据库的功能合到了一起。另外，Lance 内置了数据版本管理，你可以像 Git 一样追溯和回滚数据集，这对 ML 实验跟踪特别有用。它的底层用 Rust 实现，性能拉满，但 API 覆盖了 Python、Rust、JavaScript，生态兼容性也很强——Pandas、DuckDB、Polars、PyArrow、PyTorch 甚至 Spark 和 Ray 都能直接对接，不需要额外适配。 谁适合用 Lance？如果你在做多模态 AI 相关的工作，比如训练一个能理解图文音视频的模型，或者搭建一个支持向量搜索和关键词检索的推荐系统、知识库，Lance 能省掉你拼接不同技术的麻烦。对于大规模 ML 训练场景，它超高的随机访问能力可以加速数据加载，减少 GPU 等待时间。创业团队和 AI 应用开发者尤其值得关注，因为你不需要从零搭一套复杂的湖仓基础设施，直接用 Lance 配合对象存储就能快速上线。 上手难度几乎为零。只要你会用 Pandas 或者 SQL，就可以无缝切入。官方文档给了完整的 Python 和 Rust 示例，新手只需 pip install pylance 然后两行命令把 Parquet 文件转成 Lance 格式，后续查询、搜索、版本控制都通过熟悉的 DataFrame API 操作。社区很活跃，有 Discord 和邮件列表支持，遇到问题响应挺快。总的来说，Lance 是那种“解决了真问题、用起来又很舒服”的项目，多模态 AI 领域的开发者值得一试。