تحويل الصوت إلى MIDI

تقوم بتشغيل نموذج Basic Pitch من Spotify، وهو نموذج شبكة عصبية (TensorFlow.js)، بالكامل في متصفحك. يستمع النموذج لبدايات النوتات وطبقاتها، ثم ينتج أحداث نوتات MIDI مع التوقيت والطبقة والسرعة (velocity). لا يتم تحميل أي صوت على الإطلاق.

المحتوى أحادي الصوت والمتعدد الأصوات البسيط - البيانو المنفرد، الجيتار، الغناء، الفلوت، أو خط لحني منفرد - يتم نسخها بدقة أكبر. تنتج التوزيعات الكثيفة، والتشويه الشديد، والطبول نتائج أكثر تشويشاً لأن طبقة الصوت تكون غامضة.

تُحمّل أصول النموذج المحلية مرة واحدة، ثم يُجرى الاستدلال على جهازك. يعتمد زمن المعالجة على طول التسجيل ووحدة المعالجة المركزية المتاحة، لذلك قد تستغرق الهواتف القديمة والصوت الكثيف متعدد الأصوات وقتاً أطول. يُحلَّل أول 120 ثانية فقط لحصر عبء العمل في المتصفح.

يقوم الحد الأدنى للثقة بتصفية اكتشافات النوتات الضعيفة أو غير المؤكدة - ارفعه للاحتفاظ بالنوتات القوية فقط. يزيل الحد الأدنى لطول النوتة الومضات القصيرة جداً. كلاهما يعيد الاشتقاق فوراً من التحليل المخزن مؤقتاً دون إعادة تشغيل النموذج.

نعم. الملف الذي يتم تنزيله هو ملف MIDI قياسي (تنسيق 0) يحتوي على أحداث التمبو وتشغيل/إيقاف النوتات. استورده إلى Ableton أو Logic أو FL Studio أو GarageBand أو MuseScore أو أي DAW للتعديل أو تغيير الآلات أو التدوين الموسيقي.

تعدد الآلات والطبول والمؤثرات وتداخل النوتات يجعل الطبقات الفردية غامضة. الميلودي المنفرد والبيانو والجيتار والصوت تعطي MIDI أنظف عادةً.