Hinn 19. mars lærði það heim af opinberum frásögnum WeChat af Caict að til að skilja ofskynjunarstöðu stórra gerða og stuðla að ítarlegri og hagnýtri beitingu stórra gerða, hóf Artificial Intelligence Institute of Caict stórt ofskynjunarpróf á grundvelli fyrri AI Safety Benchmark mats.
Stóra ofskynjun (AI ofskynjunar) vísar til innihalds sem virðist sanngjarnt þegar líkanið býr til innihald eða svarar spurningum, en er í raun í ósamræmi við inntak notenda (ofskynjanir) eða í ósamræmi við staðreyndir (staðreyndar ofskynjun). Með víðtækri beitingu stórra gerða á lykilsviðum eins og læknisfræði og fjármálum eykst hugsanleg áhætta um notkun af ofskynjunum stórum fyrirmyndum og fá víðtæka athygli frá greininni.
Þessi umferð ofskynjunarprófa mun nota stórar tungumálalíkön sem prófunarhlutinn, sem nær yfir tvenns konar ofskynjanir: staðreyndar ofskynjanir og trúar ofskynjanir. Sérstaklega matskerfið er eftirfarandi:
Prófgögnin innihalda meira en 7, 000 kínversk prófsýni. Prófsniðið inniheldur tvenns konar spurningar: upplýsingaútdrátt og þekkingar rökhugsun sem samsvarar trúaðri ofskynjunargreiningu og staðreyndum um mismunun sem samsvarar staðreyndar ofskynjunargreining. Almennt felur það í sér fimm prófunarvíddir: hugvísindi, félagsvísindi, náttúruvísindi, beitt vísindi og formleg vísindi.
China Academy of Information and Communications Technology býður viðeigandi fyrirtækjum að taka þátt í Model Evaluation og stuðla sameiginlega að öruggri beitingu stórra gerða.