Zusammenfassung

NeuralNote ist ein Audio-Plug-in, das Audio mit Deep Learning in MIDI umwandelt. Es unterstützt polyphone Transkription und Pitchbend-Erkennung für jedes Toninstrument, einschließlich Stimme, und kann innerhalb einer Digital Audio Workstation (DAW) oder als eigenständige Anwendung verwendet werden.

Funktionen

• Audio-zu-MIDI-Transkription mit Unterstützung für polyphone Instrumente und Pitchbend-Erkennung
• Leichte und schnelle Verarbeitung, die Parameteranpassungen während der Wiedergabe ermöglicht
• Direkter MIDI-Export per Drag & Drop auf eine MIDI-Spur
• Kompatibel mit verschiedenen Audioformaten: WAV, AIFF, FLAC, MP3 und OGG (Vorbis)
• Verfügbar als VST3, AU (nur macOS) und eigenständige Versionen für Windows, macOS (Universal) und Linux
• Verwendet intern das basic-pitch-Modell von Spotify, das mit den Frameworks RTNeural und ONNXRuntime läuft

Anwendung

Benutzer wenden NeuralNote als AudioFX-Plugin auf die Spur an, die sie transkribieren möchten. Die Transkription kann in Echtzeit während der Aufnahme oder während der Wiedergabe erfolgen. Parameter für die Transkription können während des Hörens angepasst werden, und das resultierende MIDI kann einfach exportiert werden.

Technische Details und Aufbau

NeuralNote ist Open Source unter der Apache-2.0-Lizenz. Zum Erstellen aus dem Quellcode werden git, cmake und ein geeigneter Compiler benötigt. Das Projekt unterstützt die Nutzung von IDEs und Beiträge. Das Plug-in basiert auf der Arbeit von Spotifys basic-pitch und erweitert diese, außerdem integriert es Drittanbieter-Bibliotheken wie JUCE, RTNeural, ONNXRuntime und andere.

Beschränkungen

Eine Echtzeit-Transkription ist derzeit aufgrund der Latenzanforderungen der Constant-Q-Transformation und der Modellverarbeitung nicht möglich.