用于大模型的首批中文基礎(chǔ)語料庫發(fā)布

　　中新網(wǎng)北京12月21日電 中國(guó)網(wǎng)絡(luò)空間安全協(xié)會(huì)人工智能安全治理專業(yè)委員會(huì)20日在北京召開發(fā)布會(huì)，面向社會(huì)發(fā)布用于大模型的首批中文基礎(chǔ)語料庫。

　　據(jù)悉，網(wǎng)安協(xié)會(huì)人工智能安全治理專委會(huì)會(huì)同國(guó)家權(quán)威機(jī)構(gòu)，發(fā)揮企業(yè)、高校和科研單位協(xié)同優(yōu)勢(shì)，通過“共建－共享”機(jī)制，匯聚一批高質(zhì)量可信數(shù)據(jù)，經(jīng)過去重、過濾等技術(shù)手段，形成并對(duì)社會(huì)發(fā)布首批120G中文基礎(chǔ)語料，包括1億余條數(shù)據(jù)，500億個(gè)token。用戶登錄中國(guó)網(wǎng)絡(luò)空間安全協(xié)會(huì)網(wǎng)站，點(diǎn)擊“中文基礎(chǔ)語料庫”鏈接，通過注冊(cè)、認(rèn)證等程序，就能夠下載相關(guān)語料。

　　網(wǎng)安協(xié)會(huì)人工智能安全治理專委會(huì)負(fù)責(zé)人表示，語料庫建設(shè)是一項(xiàng)長(zhǎng)期性、專業(yè)性的工作，需要遵循相應(yīng)法規(guī)、標(biāo)準(zhǔn)和規(guī)范，需要合力共建、突破創(chuàng)新，推動(dòng)形成科學(xué)有效的語料庫匯聚、處理、使用機(jī)制，為國(guó)家人工智能技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展賦能。

　　來自專委會(huì)成員單位、大模型備案機(jī)構(gòu)和相關(guān)領(lǐng)域科研、企業(yè)、社會(huì)組織代表近100人參加發(fā)布會(huì)。