行业资讯
AI news by Smartone AI
CogLTX：将BERT应用于长文本
背景自从谷歌的BERT预训练模型横空出世,预训练-下游任务微调的方式便成了自然语言处理任务的灵丹妙药。然而,复杂度高、显存消耗大等问题一直困扰着BERT等预训练模型的优化;由于BERT中Transformer(多层自注意力)关于输入文本长度L有的O()的时间空间复杂度,长文本消耗显存陡然增加
AIGC热点
热点
-
19打开，有戏
有冇SmartoneAI，致力于通过分享全球优质AI工具、资源和资讯，帮助大家更早地、更好地了解和使用AI，让AI成为你的得力助手，工作更高效，生活更轻松。按下Ctrl+D或⌘+D收藏本站~
