Sesame AI

CSM هو التقنية الأساسية لـ Sesame AI، وهو نموذج كلام محادثي يعتمد على إطار تعلم متعدد الوسائط. يجمع بين البيانات النصية والصوتية باستخدام بنية Transformer لتوليد كلام طبيعي ومتناسق مباشرة، قادر على تعديل النغمة والإيقاع والتعبير العاطفي ديناميكيًا بناءً على تاريخ المحادثة والسياق.

الميزة الرئيسية لـ Sesame AI هي توفير تجربة محادثة أكثر طبيعية وغنية بالعواطف. يمكنه فهم حالات المستخدمين العاطفية والرد عليها من خلال التوقفات المؤقتة، التأكيدات النغمية المناسبة، والمقاطعات، مما يجعل المحادثات أكثر سلاسة وطبيعية مع الحفاظ على شخصية وأسلوب متسقين. هذا 'حضور الصوت' هو جودة رئيسية تفتقر إليها المساعدات الصوتية الأخرى.

يمكن تطبيق تقنية Sesame AI في مجالات متعددة، بما في ذلك المساعدات الصوتية الذكية الشخصية، خدمة العملاء والدعم، أدوات التعليم والتعلم، الترفيه والألعاب، وكذلك تقنية مساعدة الوصول. من خلال القيام بذلك، نأمل في تحقيق الإمكانات غير المستغلة للصوت كواجهة نهائية للتوجيه والفهم.

لا يتطلب الأمر أجهزة خاصة. تم تصميم Sesame AI للعمل على مجموعة متنوعة من الأجهزة الشائعة بما في ذلك الهواتف الذكية، الأجهزة اللوحية، أجهزة الكمبيوتر الشخصية، ومكبرات الصوت الذكية. طالما أن الجهاز يدعم وظائف الإدخال والإخراج الصوتي، يمكن استخدام Sesame AI.

بناء رفيق رقمي بحضور صوتي ليس بالأمر السهل، لكننا نحرز تقدمًا ثابتًا في عدة مجالات، بما في ذلك الشخصية، الذاكرة، القدرة على التعبير، والملاءمة. بينما لم نصل بعد، أحرزنا تقدمًا كبيرًا في توليد الكلام المحادثي. يخطط فريق Sesame أيضًا لجعل نتائج أبحاثهم مفتوحة المصدر للسماح للمجتمع بالمشاركة في التجارب والتحسين.