Tilni aniqlash

Тилни аниқлаш (инглизчада тилини аниқлаш), табиий тилни қайта ишлаш усулида — тилни аниқлаш. Тилни аниқлаш муаммоси матнни туркумлаштиришнинг алоҳида ҳолати бўлиб, статистик усуллар ёрдамида ҳал қилинади.

Кўриб чиқиш

Тилни аниқлаш учун ППРЛМ (параллел фонемаларни аниқлаш + тил модели) архитектураси бир нечта тилларда ўқитилган фонетик танувчиларнинг параллел уланиши билан амалга оширилади. Фонетик таниб олиш Витерби алгоритмидан фойдаланган ҳолда яширин Марков моделларига (ҲММс) асосланган.

Нутқ хабарининг маълум бир мақсадли тилга тегишлилиги тўғрисида қарор қабул қилиш учун қўллаб-қувватловчи вектор машиналари (СВМ — қўллаб-қувватловчи векторли машиналар) асосидаги классификатор ёрдамида ёндашув амалга оширилади.

Классик ППРЛМ асосида қурилган тизимнинг ишлаш принципи қуйидагича:

тизимда бир нечта фонетик танийдиганлар мавжуд;
ҳар бир киритилган товуш файли фонетик танувчилар томонидан тан олинади;
ҳар бир фонетик тан олувчи фонемаларнинг натижавий кетма-кетлигига кўра, маълум бир мақсадли тилнинг н-грамм моделига яқинлик ўлчовлари ҳисобланади;
н-грамм моделининг максимал яқинлик ўлчовига эга бўлган тил ғолиб деб ҳисобланади.

Илғор ППРЛМ тизимларида тилни идентификация қилиш очиқ вазифа сифатида амалга оширилади: қайта ишланган файлнинг мақсадли тилга „тегишли“ / „тегишли эмас“ текшируви ўтказилади, қарор автоматик равишда белгиланган чегарани ҳисобга олган ҳолда фойдаланувчи томонидан қабул қилинади.

Асосий алгоритмга қуйидаги қадамлар қўшилади:

ҳар бир фонетик тан олувчининг ҳосил бўлган фонемалари кетма-кетлиги у ёки бу „йўналтирувчи“ тилнинг н-грамм модели билан қўшиб қўйилади ва н-грамм моделининг фонемалар кетма-кетлигига яқинлик ўлчовлари кўриб чиқилади;
н-грамм моделларининг фонема кетма-кетлигига яқинлиги ўлчовларининг тўлиқ тўплами СВМ классификатори учун кириш векторидир;
таснифлаш натижасига кўра, СВМ классификатори ҳар бир мақсадли тил учун алоҳида белгиланган чегара билан солиштириб, мақсадли тилга тегишли бўлиш тўғрисида қарор қабул қилади.

Агар СВМ классификатори томонидан берилган балл чегарадан катта бўлса, аудио файл мақсадли тилда айтилади. Бундай ҳолда, овоз файли бир вақтнинг ўзида бир ёки бир нечта тилларга тайинланиши ёки уларнинг ҳеч бирига тайинланмаслиги мумкин.

Яна қаранг

Алгоритмик ахборот назарияси
Колмогоров мураккаблиги
Машина таржимаси
CЛДР

Адабиётлар

Жошуа Гудман. Тил дарахтлари ва Зиппинг бўйича кенгайтирилган изоҳ . арХив: cонд-мат/0202383 [cонд-математикастат-меч]
Бенедетто, Д., Э. Каглиоти ва В. Лорето. Тил дарахтлари ва зиппинг . Жисмоний кўриб чиқиш хатлари, 88:4 (2002), Мураккаблик назарияси .
Кавнар, Уилям Б. ва Жон М. Тренкле. „Н-грамм асосидаги матнларни туркумлаштириш“. СДАИР-94, Ҳужжатларни таҳлил қилиш ва маълумот олиш бўйича 3-йиллик симпозиум материаллари (1994) [1] .
Cилибраси, Руди ва Пол М. Б. Витанйи. Сиқиш орқали кластерлаш . ИЭЭЭ Трансаcтионс он Информатион Тҳеорй 51(4), 2005 йил апрел, 1523-1545.
Дуннинг, Т. (1994) „Тилнинг статистик идентификацияси“. МCCС 94-273 техник ҳисоботи, Ню-Мексико штат университети, 1994 йил.
Гудман, Жошуа. (2002) „Тил дарахтлари ва зиппинг“ бўйича кенгайтирилган шарҳ . Миcрософт Ресеарч, 2002 йил 21 феврал. (Бу Наиве Баес усули фойдасига маълумотларни сиқишнинг танқидидир.)
Графенстетте, Грегори. (1995) Икки тилни идентификация қилиш схемаларини солиштириш. Матнли маълумотларнинг статистик таҳлили бўйича 3-халқаро конференция материаллари (ЖАДТ 1995).
Поуцма, Аржен. (2001) Тилни аниқлашда Монте-Карло техникасини қўллаш. СмартҲавен, Амстердам. CЛИН 2001 да тақдим этилган.
Тҳе Эcономист. (2002) " Услуб элементлари: сиқилган маълумотларни таҳлил қилиш тилшуносликда таъсирчан натижаларга олиб келади "
Радим Řэҳůрек ва Милан Колкус. (2009) Интернетда тилни аниқлаш: Луғат усулини кенгайтириш^{[сайт ишламайди]} (мавжуд ҳавола) " Ҳисоблаш тилшунослиги ва матнни ақлли қайта ишлаш

Ҳаволалар

Кутубхоналар

ЛИД — Пйтҳонда тил идентификацияси : Дамир Кавар томонидан Пйтҳон ва схемада н-граммга асосланган ЛИД воситасининг алгоритми ва код мисоли.
қопқоқ Тил идентификатори : Лингуа-Сйстемс томонидан; C / C ++ кутубхонаси ва Перл кенгайтмаси (онлайн демо).
лc4ж, тил туркумлаш Жава кутубхонаси (Wайбаcк Мачине сайтида 2014-03-03 санасида архивланган), Марко Оливо томонидан.
Wиндоwс 7 учун Миcрософт кенгайтирилган лингвистик хизматлар : шу жумладан Миcрософт тилни аниқлаш.
учун Wиндоwс 7 АПИ код тўплами. НЕТ : юқоридагилар учун бошқариладиган интерфейсларни ўз ичига олади.
НТехтCат учун бепул тилни аниқлаш АПИ. (Wайбаcк Мачине сайтида 2017-12-23 санасида архивланган) НЕТ (C#) (Wайбаcк Мачине сайтида 2017-12-23 санасида архивланган) : 280+ тиллар қутидан ташқарида мавжуд. Тилни ва матнни кодлашни (УТФ-8, Wиндоwс-1252, Биг5 ва бошқаларни) танийди. Моно мос.
жсли^{[сайт ишламайди]} соф ЖаваСcрипт тилини идентификация қилиш кутубхонасидир.
Чромиум-Аутҳор’с Cомпаcт Лангуаге Детеcтион коди учун cлдр -Р кутубхонаси.
тилни аниқлаш : Жава учун очиқ манбали тилни аниқлаш кутубхонаси (форкс: ланг-гуэсс ва лангуаге-детектори).
cлд2 : Гоогле томонидан C++ учун очиқ манбали тилни аниқлаш кутубхонаси
ГуэссЛангуаге : ЖаваСcрипт учун очиқ манбали тилни аниқлаш кутубхонаси
ГуэссЛангуаге : пйтҳон учун очиқ манбали тилни аниқлаш кутубхонаси
Техт ЛангуагеДетеcт : нок тилини аниқлаш (ҳозирда қўллаб-қувватланмайди)
датаграм : очиқ манбали МИТ ЖаваСcрипт таснифлаш кутубхонаси. Кириш маълумотларининг тилларини автоматик равишда таснифлаш ва таниб олиш. У ўқитилган маълумотларга асосланган ҳар қандай таснифлаш учун ишлатилиши мумкин.

Веб-хизматлар

Тилни аниқлаш веб-хизмати : матнлар, веб-сайтлар ва ҳужжатларда 100 дан ортиқ тилларни аниқлайдиган тилни аниқлаш АПИси (ЖСОН ва ХМЛ).
Лангуаге Детеcтион АПИ : оддий идентификация тили АПИ
датаТХТ-ЛИ : тил идентификацияси РЕСТфул АПИ, караҳиндиба датаТХТ семантик АПИ оиласининг (Wайбаcк Мачине сайтида 2015-03-17 санасида архивланган) бир қисми (номли обектни ажратиб олиш, матн ўхшашлиги ва ҳоказо).)
АлчемйАПИ : тил идентификатори АПИ, СДК сифатида ва РЕСТфулл АПИ (веб-асосланган намойиш) орқали мавжуд.
ПетаМем тилини идентификациялаш : нграм, нвеcт ва смарт усуллардан танлаш имконини беради.
Херох ЛангуагеИдентифиэр ни очинг, у вебга асосланган шаклда ёки АПИ орқали мавжуд.
ГлобалНЛП : Интернетга асосланган идентификация тили
Тил детектори, матн ёки УРЛ дан онлайн идентификация ва ишлаб чиқувчилар учун мавжуд АПИ.
Бу қайси тил? Онлайн тил идентификатори : Ҳенрик Фалcк томонидан ёзилган веб-асосланган восита.
Росетта тил идентификатори (Wайбаcк Мачине сайтида 2011-06-14 санасида архивланган) : Басис Течнологй маҳсулоти.
Тил идентификатори : Сематехт маҳсулоти; Жава АПИ-ни очиб беради ва РЕСТ/Wебсервиcе орқали мавжуд.
Г2ЛИ (Глобал ахборот инфратузилмаси лабораториясининг тил идентификатори) .
ИМТ Ҳолдингс томонидан тақдим этилган Росока Cлоуд тил идентификатори, обект ва муносабатларни ажратиб олиш РЕСТфулл веб-хизматларини Амазон Wеб Сервиcес Маркетплаcе орқали тақдим этади.
Тилни аниқлаш хусусиятига эга Семантриа^{[сайт ишламайди]} ҳисси ва матн таҳлили АПИ
Лоқуэ.ла Лангуаге Детеcтион АПИ : АПИ ёрдамида веб-сайт тилини аниқлаш, (жсон/ХМЛ)
Стел КС Лангуаге идентификацияси (Wайбаcк Мачине сайтида 2022-01-21 санасида архивланган) : Лангуаге идентифиcатион АПИ (11 тил)