深度文章

金融模型、LLMs结构化剪枝、多模态对齐、AI芯片深度学习编译器
欢迎阅读“科研上新”栏目!“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里,你可以快速浏览研究院的亮点资讯,保持对前沿领域的敏锐嗅觉,同时也能找到先进实用的开源工具。
代码摘要、生成、翻译、修复全覆盖... WaveCoder开启代码智能新篇章
代码大语言模型(Code LLMs)作为大语言模型与编程领域结合的产物,可以通过自动生成和补全代码帮助开发者快速实现功能。但目前针对代码大语言模型的指令微调方法主要集中在传统的代码生成任务上,忽略了模型在处理复杂多任务场景中的表现。为此,来自微软亚洲研究院的研究员们开发了 WaveCoder 模型,其使用包含19,915个指令、涵盖4个代码任务的数据集 CodeSeaXDataset 进行训练,在代码摘要、生成、翻译、修复等多个代码任务的基准测试中显著优于其他开源模型,具有更强的泛化能力。近期,WaveCoder也已开源,希望可以成为开发者编程之旅中的得力伙伴!
微软亚洲研究院多项创新技术,弥合大模型低比特量化与终端部署间鸿沟
微软亚洲研究院推出了全新的数据编译器 Ladder 和算法 T-MAC,使当前只支持对称精度计算的硬件能够直接运行混合精度矩阵乘法。测试结果表明,Ladder 在支持 GPU 原本不支持的自定义数据类型方面,最高提速可达14.6倍;T-MAC 在搭载了最新高通 Snapdragon X Elite 芯片组的 Surface AI PC 上,使 CPU 上运行的大模型吞吐率比专用加速器 NPU 快两倍。此外,研究员们还设计了 LUT Tensor Core 硬件架构,这种精简设计使硬件能够直接支持各种低比特混合精度计算,为人工智能硬件设计提供了新思路。

实习岗位

全职岗位