摘要:大语言模型是当前人工智能领域的研究热点,推动了自然语言处理、信息检索和智能问答等众多任务的变革。应期刊执行主编邀请,近日,西安电子科技大学赵伟教授团队在Research(中科院一区、IF=8.49)发表大语言模型综述论文《Road of Large Langu
大语言模型是当前人工智能领域的研究热点,推动了自然语言处理、信息检索和智能问答等众多任务的变革。应期刊执行主编邀请,近日,西安电子科技大学赵伟教授团队在Research(中科院一区、IF=8.49)发表大语言模型综述论文《Road of Large Language Model: Source, Challenge and Future Perspectives》。Research是Science自1880年创建以来全球范围内的第一本合作期刊,是中国科协和美国科学促进会(AAAS)共同创办的国际综合性顶级期刊。
论文围绕LLM发展的四大关键主题进行了系统性阐述,包括:1)涌现能力:探讨LLM规模增长引发的非线性能力跃迁,以及如何基于更细粒度的分析方法来揭示LLM的能力跃迁本质;2)人类偏好对齐:探讨了如何通过负样本学习、反事实数据增强等方法减少标注依赖,提升LLM在复杂偏好环境下的适应性;3)检索增强生成(RAG):探讨了如何通过优化检索策略、提升知识整合能力、缓解外部知识冲突,使RAG技术在医学、法律、科学研究等领域发挥更大作用;4)DeepSeek与跨域应用:探讨了LLM未来可能的发展方向,如基于因果推理的模型优化和不确定性估计等方法,以提升LLM在不同学科中的泛化能力。DeepSeek在优化LLM计算效率、减少推理成本、增强可解释性方面取得了重大进展,这些创新为LLM未来的发展和跨域应用提供了新的思路,使其更加高效可控,并能够在计算资源受限的环境中依然保持卓越的推理能力。
近日,团队在社会图像检索领域的研究取得重要进展,研究成果《Cross-Modal Guided VisualRepresentationLearning for Social Image Retrieval》发表在TPAMI(CCF A类、中科院一区、IF=20.79),TPAMI为人工智能领域顶级期刊。第一作者为管子玉教授。
论文提出了一种基于跨模态引导的视觉表示学习框架(CGVR),用于社会图像检索。该框架针对社会图像中用户标签噪声问题,通过引入跨模态交互和先验常识关系,从噪声标签中提取准确的语义信息,并将其迁移到图像哈希子网络中,实现了高效的单模态图像检索。实验结果表明,该方法不仅在多个公开的社会图像基准数据集上取得了显著的性能提升,还能学习到用户标签中的细粒度语义,提升了检索的精准性。
赵伟教授团队长期围绕大数据采集、处理、分析、挖掘以及应用中的关键科学问题和重要技术瓶颈开展研究工作。近年来,在国家级人才、国基金重点和陕西省科技计划项目等资助下,在相关领域高水平期刊,如TPAMI、TKDE等,和CCF A类学术会议,如NeurIPS、AAAI等发表论文130余篇,并获得2024年度AAAI最佳论文奖。(通讯员:徐偲)
来源:高校圈的那些事儿