“荀子”大语言模型:化繁为简 通读古今
40亿数据灌注国内首个古籍处理与研究开源智能工具
“荀子”大语言模型:化繁为简 通读古今
◎本报记者 金 凤
“秦淮佳丽地,城阙望中迷。柳暗青丝发,花香碧玉衣。歌楼留夜色,画阁敛春晖。细雨轻舟去,双鱼梦泽飞。”这是近日上线的“荀子”古籍大语言模型(以下简称“荀子”)以“金陵”为题,生成的一首古诗。
记者了解到,“荀子”是国内首个专门应用于古籍处理与研究的开源智能工具,由南京农业大学王东波教授研究团队联合古联(北京)数字传媒科技有限公司发布。它依托国家社科基金重大项目“中国古代典籍跨语言知识库构建及应用研究”,基于40亿字的大型混合语料数据生成。
“数据是大模型的基础。”王东波介绍,在“荀子”的研发过程中,研究团队在人工智能通用模型的基础上,灌注了繁简体《四库全书》等20亿字的古代汉语语料和文化领域的20亿字的现代汉语语料,使“荀子”具有古籍智能标引、古籍信息抽取、诗歌生成、古籍高质量翻译、阅读理解等功能。
“对于汉语言研究者来说,他们还可以利用‘荀子’完成古籍词法分析、实体识别、关系抽取、文本分类与匹配、文本摘要等工作。”王东波举例,如果要研究《史记·陈涉世家》的人物关系,就可以用“荀子”识别这篇文章中的人物名称和关系名词,再用知识图谱的方式呈现人物关系图谱,从而提高检索、查询、研究的效率。
王东波介绍,此次发布的“荀子”大模型中的基座模型,还可以让用户根据自己的需求对“荀子”进行微调,帮助用户开展更有针对性的研究。
“荀子”是怎么做到化繁为简、通读古今的?“核心是‘算力充足’并且‘饱读诗书’。”王东波介绍,“荀子”的顺利问世离不开南京农业大学提供的高性能算力基础设施支持,以及研究团队长期积累的精加工语料库。
“模型的构建受算力、场景应用等多方影响,但精准度较高的优质数据是最为关键的。”王东波表示,研究团队自2013年起,一直专注于人工精标注数据的工作。
“比如要训练大模型自动标注《岳阳楼记》中的形容词,首先需要人工标注这篇文章中的形容词。在积累了大量的人工标注后,再让机器进行学习。”王东波说,这项“坐冷板凳”的基础标注工作,他们一做就是10年。
“我们期待能将古籍的智能化研究与跨学科的人才培养相结合,让学生既有前瞻的科研视野,又能积累较为深厚的人文底蕴。”王东波表示,研究团队希望能让更多人接触古籍、品读古籍、传播古籍,让“故纸堆”重新焕发活力,推动中华优秀传统文化创造性转化、创新性发展,赓续中华文脉。
王东波介绍,“荀子”除了能让人们更顺畅地阅读古籍内容,推动古籍整理、古籍数字化、古籍活化利用与传播之外,未来还可应用于人工智能写作、人工智能教学、数字文娱等领域。
-
上一篇
-
下一篇
相关推荐
黑龙江饶河再现野生东北虎足迹
四川内江市市中区发生3.2级地震 震源深度10千米
海南将迎来春节前出岛车客高峰 各港口出岛秩序总体平稳
(新春走基层)“喜迎全运会 瑞蛇贺新春”新春庙会在广州举行
羊角把、牛角、十字扣,春运涨知识→小设计大用途
岁暮冰嬉 寒尽春生 这些“速度与激情”谁看了不想玩一把?
“家门口能挣钱,好日子有盼头”(新春走基层)
国家中医药局:九成以上三级妇幼保健院设置中医类临床科室
湖南零陵腊肉飘香年味浓 供销两旺助增收
春节临近 你的家乡举办哪些活动?一起来寻找年味儿→
新春走基层丨让每一盏车灯都安然明亮 他们是“魔鬼风口”的风雪护路人
中国将386.7万家固定污染源纳入排污许可管理
- 最近发表
-
- 随机阅读
-
- 上半年北京进出口总值1.79万亿元
- 【寻味中华 | 文博】东汉说唱俑“复活”:传递千余年的喜乐
- 云南“新农人”直播带货助力乡村振兴 销售额逾2.54亿元
- 绝壁凿“天渠” 贵州毕节山乡有“生机”
- 美媒:过去四年来,美国校园枪支暴力事件显著增加
- 全球进入“烧烤模式”?WMO:未来五年全球气温将创下新纪录
- 电影《志愿军:存亡之战》央企线上联动 以今日新中国成就致敬最可爱的人
- 雅万高铁开通运营满半年:累计发送旅客256万人次 安全运行超126万公里
- 12355成名副其实的“生命线”
- 俄乌局势进展:俄称多次击退乌军进攻 乌克兰希望在北约峰会上明确入约条件
- 连续15年参加联合国气候大会 王石细数三大变化
- 江苏扬州非遗大师精品展开展 152件珍品集中亮相
- 中信尼雅正式更名,聚焦核心品牌、聚势核心战略
- 5月8日人民币对美元中间价报7.1016元 下调14个基点
- 上海医院、高校、企业携手打造儿童影像技术创新研究中心
- 没有这10多亿年,地球一天会有60小时
- 美国与芬兰签署防务合作协议
- 今天傍晚北京雷雨又将来“串门” 夜间阵风六级有轻度沙尘
- 今年1至4月西藏涉外收支总额为1.3亿美元
- (新春走基层)福建省最大液化天然气口岸外轮入境通关掠影:边检民警守护人间“烟火气”
- 热门推荐
-
- 突破3000万!创纪录!
- 开学季加剧压力 南非交通事故频发多人死亡
- “五一”假期全国组织群众文化活动47554场 1.66亿人次参与
- 直播相亲别成“有偿消费竞价”
- 国际观察:强推排污入海计划折射日本道德赤字与智慧困境
- 和评理 |排污入海危害世界 日本必将付出代价
- (第六届进博会)进博会探“绿”:全球能源革命,中国扮演何种角色?
- 青海柴达木盆地所属海西州年售电量已突破百亿千瓦时
- 《狗剩快跑》正式收官 跨越时空对话当代青年
- (走进中国乡村)昔日甘肃黄土塬 今日玫瑰“浪漫园”
- 台湾云林发生游览车与轿车碰撞事故 造成4死22轻伤
- 88岁老人逾30年双下肢不适 怪病竟是“不安腿综合征”
- (乡村行·看振兴)文旅融合 福建屏南传统古村落焕发“新生机”
- 各执一端,双向奔赴成就“一出好戏”
- 第八届中国—亚欧博览会在乌鲁木齐开幕 聚焦丝路新机遇
- 中海壳牌惠州三期乙烯项目正式开工 总投资额521亿元
- 长春:“快速调处机制”为农民工解决“愁薪”事
- 新漫评:美国霸权“黑手”祸乱世界
- 中国国际茶博会在杭州举行 13个国家(地区)企业参展
- 中马企业合作对接会举行 聚焦马特色农产品