เครื่องมือนี้ทำอะไร
ถอดเสียงแบบสดจะเปลี่ยนสิ่งที่คุณพูดเป็นข้อความขณะที่คุณพูด กดเริ่ม พูดใส่ไมโครโฟน แล้วแต่ละประโยคจะปรากฏในข้อความที่ถอดได้หลังจากคุณหยุดชั่วครู่ ใช้งานคล้ายการพิมพ์ด้วยเสียงหรือการบอกให้จด แต่การรู้จำเสียงทำงานในเบราว์เซอร์ทั้งหมด ไม่ต้องมีบัญชี ไม่มีเซิร์ฟเวอร์ และเสียงไม่ออกจากคอมพิวเตอร์ของคุณ
โมเดลรู้จำเสียงคือ Moonshine โมเดลแปลงเสียงพูดเป็นข้อความแบบโอเพนซอร์สจาก Useful Sensors ที่ออกแบบมาเพื่อถอดเสียงแบบสดบนอุปกรณ์ ทำงานกับวลีสั้นได้เร็ว จึงเหมาะกับการถอดเสียงทีละประโยค เครื่องมือนี้รันโมเดลด้วย Transformers.js และ ONNX Runtime Web โดยใช้ WebGPU เมื่อเบราว์เซอร์รองรับ และใช้ WebAssembly เมื่อไม่รองรับ
เครื่องมือนี้รองรับเฉพาะภาษาอังกฤษ
วิธีใช้งาน
- เลือกโมเดล Base แม่นยำกว่า ส่วน Tiny เล็กกว่าและเร็วกว่าบนคอมพิวเตอร์ที่ช้า
- กด ดาวน์โหลดโมเดลและเริ่ม โมเดลจะดาวน์โหลดเพียงครั้งเดียว (Base ประมาณ 120 MB, Tiny ประมาณ 50 MB) จากนั้นเบราว์เซอร์จะขออนุญาตใช้ไมโครโฟน ให้กดอนุญาต
- พูดตามปกติ แถบระดับเสียงแสดงระดับเสียงเข้าและเปลี่ยนเป็นสีเขียวเมื่อตรวจพบเสียงพูด เมื่อคุณหยุด วลีนั้นจะถูกส่งให้โมเดลและข้อความจะขึ้นเป็นบรรทัดใหม่
- กด หยุด เพื่อปล่อยไมโครโฟน กด เริ่ม อีกครั้งเพื่อทำต่อ เวลากำกับจะนับต่อจากจุดที่หยุดไว้
- ใช้ คัดลอก หรือ ดาวน์โหลด .txt เพื่อเก็บข้อความ หรือ ล้าง เพื่อเริ่มใหม่ ตั้ง ลำดับ เป็น ใหม่สุดก่อน เพื่อให้บรรทัดล่าสุดอยู่ด้านบนเสมอ การคัดลอกและดาวน์โหลดก็เรียงตามลำดับเดียวกัน
ตัวอย่าง
เมื่อเปิดเวลากำกับ บันทึกสั้น ๆ ที่พูดเป็นภาษาอังกฤษจะเป็นแบบนี้
[00:00] Let's start with the quarterly numbers.
[00:04] Revenue is up twelve percent compared to last year.
[00:09] Next, I want to talk about hiring.ปิดเวลากำกับเพื่อให้ได้บรรทัดข้อความธรรมดา พร้อมวางในอีเมล เอกสาร หรือแอปจดบันทึก
ปรับการตรวจจับเสียงพูด
ตัวตรวจจับกิจกรรมเสียงแบบง่ายจะฟังความดังของไมโครโฟนและตัดสินว่าประโยคเริ่มและจบตรงไหน มีการตั้งค่าสามอย่างที่ควบคุมมัน
- เกณฑ์เสียงพูด กำหนดว่าเสียงต้องดังแค่ไหนจึงนับเป็นเสียงพูด เลือกระดับที่ทนเสียงดังกว่าถ้าเสียงรบกวนรอบข้างทำให้แถบเป็นสีเขียวตลอด หรือเลือกระดับที่ไวกว่าถ้าเสียงพูดเบา ๆ ถูกข้ามไป
- ช่วงเงียบที่ตัดบรรทัด คือระยะเวลาที่ต้องเงียบก่อนถอดเสียงวลี ช่วงสั้นให้ผลเร็วกว่า ช่วงยาวช่วยให้ประโยคไม่ขาดตอน
- บรรทัดยาวสุด ตัดช่วงการพูดที่ยาวมาก เพื่อให้การถอดเสียงเดินหน้าต่อแม้คุณจะไม่หยุดพูดเลย
การตั้งค่าเหล่านี้มีผลเมื่อกดเริ่มครั้งถัดไป ตัวเลือกโมเดลและเวลากำกับจะบันทึกไว้ในที่อยู่หน้าเว็บ คุณจึงบุ๊กมาร์กหรือแชร์การตั้งค่าที่ชอบได้ ส่วนข้อความที่ถอดได้จะไม่ถูกใส่ในลิงก์เลย
โมเดล สัญญาอนุญาต และข้อจำกัด
เครื่องมือนี้ใช้ onnx-community/moonshine-base-ONNX หรือ onnx-community/moonshine-tiny-ONNX ซึ่งเป็นเวอร์ชัน ONNX ของโมเดล Moonshine ภาษาอังกฤษ เผยแพร่ภายใต้สัญญาอนุญาต MIT ส่วน Transformers.js ใช้สัญญาอนุญาต Apache-2.0 ความแม่นยำดีที่สุดเมื่อมีผู้พูดคนเดียวพูดชัดใกล้ไมโครโฟน ชื่อเฉพาะ คำที่พบน้อย และสำเนียงหนักอาจฟังผิด และเครื่องหมายวรรคตอนเป็นการเดาของโมเดล สำหรับไฟล์เสียงที่บันทึกไว้แล้ว ให้ใช้เครื่องมือแปลงเสียงพูดเป็นข้อความ
คำถามที่พบบ่อย
› เสียงของฉันถูกอัปโหลดไปที่ไหนหรือไม่?
ไม่ เสียงจากไมโครโฟนถูกบันทึก แบ่งเป็นประโยค และถอดเสียงภายในแท็บเบราว์เซอร์ของคุณ มีเพียงไฟล์โมเดลที่ดาวน์โหลดจาก Hugging Face ตอนที่คุณกดปุ่มดาวน์โหลดครั้งแรก ข้อความที่ถอดได้อยู่บนหน้าเว็บเท่านั้นและไม่ถูกใส่ในลิงก์แชร์
› รองรับภาษาอะไรบ้าง?
เฉพาะภาษาอังกฤษ โมเดล Moonshine ที่ใช้ที่นี่ฝึกด้วยเสียงพูดภาษาอังกฤษ Moonshine มีโมเดลสำหรับภาษาอื่นด้วย แต่เผยแพร่ภายใต้สัญญาอนุญาตที่ห้ามใช้เชิงพาณิชย์ เครื่องมือนี้จึงไม่ใช้ เสียงพูดภาษาอื่นจะออกมาเป็นภาษาอังกฤษที่ไม่มีความหมาย
› ไฟล์ที่ดาวน์โหลดใหญ่แค่ไหน และต้องดาวน์โหลดทุกครั้งหรือไม่?
โมเดล Base ประมาณ 120 MB และโมเดล Tiny ประมาณ 50 MB หลังดาวน์โหลดครั้งแรก เบราว์เซอร์จะแคชไฟล์ไว้ ครั้งต่อไปจึงโหลดได้ในไม่กี่วินาทีโดยไม่ต้องดาวน์โหลดใหม่
› ใช้กับเบราว์เซอร์ไหนได้บ้าง?
Chrome, Edge, Firefox หรือ Safari รุ่นใหม่ที่อนุญาตให้ใช้ไมโครโฟน ถ้ามี WebGPU โมเดลจะทำงานบนการ์ดจอ ถ้าไม่มีจะใช้ WebAssembly บน CPU ซึ่งช้ากว่าแต่ยังตามทันการพูดปกติบนแล็ปท็อปส่วนใหญ่
› ทำไมข้อความจึงขึ้นหลังจากที่ฉันหยุดพูดเท่านั้น?
Moonshine ทำงานกับวลีที่สมบูรณ์ เครื่องมือจึงรอให้คุณหยุดสั้น ๆ ก่อนถอดเสียงสิ่งที่พูด คุณสามารถลดช่วงเงียบในตัวเลือก หรือลดความยาวบรรทัดสูงสุดเพื่อให้การพูดยาว ๆ ถูกตัดบ่อยขึ้น