GB/T 13715-1992《信息處理用現(xiàn)代漢語(yǔ)分詞規(guī)范》基本信息

標(biāo)準(zhǔn)號(hào)：

GB/T 13715-1992

中文名稱：

《信息處理用現(xiàn)代漢語(yǔ)分詞規(guī)范》

發(fā)布日期：

1992-10-04

實(shí)施日期：

1993-06-01

發(fā)布部門：

國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)

歸口單位：

全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)

起草單位：

北京航空航天大學(xué)

中國(guó)標(biāo)準(zhǔn)分類號(hào)：

L70信息處理技術(shù)綜合

國(guó)際標(biāo)準(zhǔn)分類號(hào)：

35.020信息技術(shù)(IT)綜合

GB/T 13715-1992《信息處理用現(xiàn)代漢語(yǔ)分詞規(guī)范》介紹

國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)于1992年發(fā)布了《信息處理用現(xiàn)代漢語(yǔ)分詞規(guī)范》(GB/T 13715-1992)。該標(biāo)準(zhǔn)于1992年10月4日發(fā)布，并于1993年6月1日正式實(shí)施。

一、標(biāo)準(zhǔn)的主要內(nèi)容

1、術(shù)語(yǔ)和定義：對(duì)分詞、詞、詞語(yǔ)等關(guān)鍵術(shù)語(yǔ)進(jìn)行了明確的定義，為分詞操作提供了標(biāo)準(zhǔn)化的語(yǔ)言基礎(chǔ)。

2、分詞原則：規(guī)定了分詞應(yīng)遵循的原則，如較小詞長(zhǎng)原則、歧義排除原則等，以確保分詞結(jié)果的準(zhǔn)確性和一致性。

3、分詞方法：介紹了基于統(tǒng)計(jì)、規(guī)則和機(jī)器學(xué)習(xí)等多種分詞方法，為不同應(yīng)用場(chǎng)景提供了靈活的選擇。

4、分詞流程：詳細(xì)描述了分詞的整個(gè)流程，包括文本預(yù)處理、詞識(shí)別、詞性標(biāo)注等關(guān)鍵步驟。

5、性能評(píng)估：提出了分詞效果的評(píng)估標(biāo)準(zhǔn)，包括召回率、準(zhǔn)確率等指標(biāo)，為分詞技術(shù)的研究和應(yīng)用提供了量化的參考。

二、分詞原則

1、較小詞長(zhǎng)原則：優(yōu)先識(shí)別較短的詞，以減少分詞錯(cuò)誤。

2、歧義排除原則：在遇到可能產(chǎn)生歧義的文本時(shí)，應(yīng)根據(jù)上下文選擇較合適的分詞方案。

3、詞頻優(yōu)先原則：在多個(gè)分詞方案中，優(yōu)先選擇詞頻較高的詞作為分詞結(jié)果。

三、分詞方法

1、基于統(tǒng)計(jì)的分詞方法：通過(guò)統(tǒng)計(jì)語(yǔ)言材料中的詞頻，構(gòu)建詞表，實(shí)現(xiàn)自動(dòng)分詞。

2、基于規(guī)則的分詞方法：利用語(yǔ)言學(xué)規(guī)則，如詞性、構(gòu)詞法等，進(jìn)行分詞。

3、基于機(jī)器學(xué)習(xí)的分詞方法：通過(guò)訓(xùn)練機(jī)器學(xué)習(xí)模型，如隱馬爾可夫模型、條件隨機(jī)場(chǎng)等，實(shí)現(xiàn)自動(dòng)分詞。

四、分詞流程

1、文本預(yù)處理：包括文本清洗、分句等操作，為分詞提供干凈的輸入。

2、詞識(shí)別：根據(jù)分詞原則和方法，識(shí)別文本中的詞。

3、詞性標(biāo)注：對(duì)識(shí)別出的詞進(jìn)行詞性標(biāo)注，如名詞、動(dòng)詞等。

4、結(jié)果輸出：將分詞結(jié)果以一定的格式輸出，供后續(xù)處理使用。

五、性能評(píng)估

1、召回率：衡量分詞結(jié)果中正確識(shí)別的詞的比例。

2、準(zhǔn)確率：衡量分詞結(jié)果中所有詞的正確性。

3、F1值：結(jié)合召回率和準(zhǔn)確率，綜合評(píng)估分詞效果。

檢測(cè)流程步驟

溫馨提示：以上內(nèi)容僅供參考使用，更多檢測(cè)需求請(qǐng)咨詢客服。