LT_ausys — lietuviškos ausys

Kalbos atpažinimas lietuvių kalba — namie, be debesies

Balso asistentui reikia burnos ir ausų. Ausys — tai kalbos atpažinimas (angl. speech to text, STT): jos išgirsta „Įjunk šviesą svetainėje“ ir paverčia tekstu, kurį Home Assistant supranta. LT_ausys yra Kristijono Jakubsono lietuviškas modelis, mūsų perkeltas į ONNX ir suspaustas, kad sparčiai veiktų ant procesoriaus, be vaizdo plokštės, ir paduodamas per Wyoming protokolą — tą patį, kuriuo Home Assistant jungia savo balso tarnybas.

Kodėl ne Whisper

Whisper — populiariausias atviras kalbos atpažinimo modelis, bet kiekvienai frazei, kad ir kokiai trumpai, jis koduoja fiksuotą 30 sekundžių langą. Ant procesoriaus tai kelių sekundžių kaina kiekvienai komandai. LT_ausys pagrindas — NVIDIA Parakeet-TDT transduseris, kuris apdoroja tik tiek garso, kiek jam paduota. Ta pati mašina (Ryzen 7 8845HS mini PC, 4 gijos), tos pačios 127 namų komandos:

Išmatuota 2026-10-24 vienoje mašinoje. Pilnos lentelės, testų rinkiniai ir išlygos — docs/results.md.

Kaip pradėti: Home Assistant lietuviškai

Trys keliai — rinkitės tą, kuris arčiausiai to, ką jau turite.

A. Tik Python

pip install "onnx-asr[cpu,hub]"

import onnx_asr
model = onnx_asr.load_model("RobertasTa/lt-ausys", quantization="int8")
print(model.recognize("komanda.wav"))   # 16 kHz mono WAV

B. Savas mažas Wyoming serveris (Linux arba Docker)

Apie 5 minutės: Python aplinka su systemd tarnyba arba vienas Docker vaizdas. Visas receptas — README faile. Serveris klauso prievado 10302.

C. Jau sukasi wyoming-faster-whisper?

Nuo 3.9 versijos jis turi onnx-asr variklį, tad naujo serverio nereikia:

wyoming-faster-whisper --uri tcp://0.0.0.0:10302 --stt-library onnx-asr \
    --model RobertasTa/lt-ausys --language lt --data-dir /data --download-dir /data

Šis kelias krauna didesnį fp32 modelį (2,5 GB) ir nepaiso gijų skaičiaus; jei norite int8 — naudokite B kelią. Kodėl.

Tada Home Assistant

Nustatymai → Įrenginiai ir paslaugos → Pridėti integraciją → Wyoming Protocol → serverio adresas ir prievadas 10302. Assist balso grandinėje pasirinkite lt_ausys kaip Speech-to-text variklį ir kalbą — lietuvių.

Visa lietuviška balso grandinė

Kad Home Assistant suprastų ir atsakytų lietuviškai, reikia trijų dalių. Visos — nemokamos ir veikia namuose:

1. Ausys — šis projektas: lietuviškos šnekos atpažinimas.
2. Burna — lietuviškas Piper balsas Reginutė arba Ingutė: atsakymai balsu, su teisingais kirčiais.
3. Mikrofonas kambaryje — Home Assistant Voice PE, ESPHome palydovas arba USB konferencinė kolonėlė per Speakerphone Assist.

Paties Home Assistant lietuviškos komandos („įjunk šviesą svetainėje“) jau yra.

Kieno tai modelis

Ko jis nedaro

• Prieš jį reikia žadinimo žodžio ir balso aptikimo (VAD). Serveris atpažįsta viską, ką gauna, o iš gryno triukšmo prigalvoja teksto — kaip ir kiekvienas kalbos atpažinimo modelis.
• Home Assistant Whisper priedas jo savaime nesiūlo. Mūsų pasiūlymas, kad lietuvių kalbai jis būtų parenkamas automatiškai, dar laukia peržiūros; iki tol — B arba C kelias aukščiau.
• Skaičiai — vienos mašinos. Kitame procesoriuje greitis bus kitoks; tikslumas int8 modeliui skirtinguose procesoriuose sutapo.

Dažni klausimai

Ar Home Assistant gali suprasti lietuviškai?

Taip. Lietuviškos komandos Home Assistant jau yra; trūksta gero kalbos atpažinimo. Numatytasis Whisper base lietuviškai klysta 88 % žodžių, LT_ausys — 10,6 %.

Ar reikia interneto ar vaizdo plokštės?

Ne. Modelis veikia ant procesoriaus (4 branduoliai, 4 GB atminties), o garsas niekur nesiunčiamas.

Kuo tai skiriasi nuo Paprikos?

Paprika — taip pat Kristijono Jakubsono modelis, bet Whisper tipo; jis tikslus, tačiau ant procesoriaus komandai užtrunka kelias sekundes. LT_ausys — kito tipo (Parakeet) ir greitesnis daugiau nei 15 kartų.

Ar galima naudoti komerciniame produkte?

Modelio licencija CC BY 4.0 tai leidžia, jei nurodote autorių. Prieš dėdami į produktą, perskaitykite licencijas.

Nesiseka? Paklauskit dirbtinio intelekto