自然语言处理技术在各行业有着广泛的应用,然而长久以来,其落地并不是一帆风顺的。
语义检索系统
具备三大亮点:
低门槛:数据+代码+模型全部开源,无需标注数据也能够轻松构建起检索系统,并且提供训练、预测、近似最近邻(ANN)搜索一站式能力。
精度高:结合业界前沿模型和自有创新思路,推出适用多种数据情况、灵活的技术方案,精度超高。
-
性能好: 与开源向量数据库 Milvus 打通 ,结合 Paddle Inference,实现高性能建库,并在千万级数据中做到毫秒级快速查询。
前往 GitHub 获取开源代码和模型:
https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/neural_search
预训练时代的端到端问答 - RocketQA
传统的问答系统通常由多个模块级联组成,而在预训练时代我们可以用一个端到端模型代替传统的复杂系统,实现更好的效果。然而,研发端到端问答模型需要大量的计算和数据资源,为了使更多开发者能方便地获取最先进的问答技术,我们推出了 RocketQA 开发工具,有三大亮点:
领先:提供国际领先的端到端问答技术-RocketQA,效果远超传统问答系统,与国际知名公司的技术方案相比也有一定优势。
中文:开源首个中文端到端问答模型,该模型基于知识增强的预训练模型ERNIE和百万量级的人工标注数据集 DuReader 训练得到,效果优异。
易用:提供11种预置模型、2 种安装方式和极简的开发接口,2 行命令即可搭建自己的问答系统。
前往 GitHub 获取开源代码和模型:https://github.com/PaddlePaddle/RocketQA
情感分析系统
为了降低技术门槛,方便开发者共享效果领先的情感分析技术,PaddleNLP 本次开源的情感分析系统,具备三大亮点:
覆盖任务全:集成句子级情感分类、评论观点抽取、属性级情感分类等多种情感分析能力,并开源模型,且打通模型训练、评估、预测部署全流程。
效果领先:集成百度研发的基于情感知识增强的预训练模型 SKEP,为各类情感分析任务提供统一且强大的情感语义表示能力。
-
预测性能强: 针对预训练模型预测效率低的问题,开源小模型 PP-MiniLM,配套裁剪、量化优化策略,预测性能提速 900%!
如果您想了解详细技术方案和完整代码、下载开源数据和模型,欢迎关注 GitHub Repo,也可在直播中与百度高工交流哦:
PaddleNLP: https://github.com/PaddlePaddle/PaddleNLP
RocketQA: https://github.com/PaddlePaddle/RocketQA
直播预告课
12.28~12.30 日每晚 20:15~21:30 百度高工将带来直播讲解,剖析行业痛点问题,深入解读系统方案,并带来手把手项目实战。欢迎大家扫码上车!直播间不见不散~
本文分享自微信公众号 - ZILLIZ(Zilliztech)。
如有侵权,请联系 [email protected] 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。