NetEase Cloudは、オーディオおよびビデオ技術の問題点を解決するためのブレークスルーに重点を置いています。

[51CTO.comより引用] 医師と患者が音声と映像を使って遠隔診断や治療を行ったり、入退室管理用ドアベルの遠隔音声と映像で来訪者を記録したり、ドアの開閉を操作したり、ロボットやその他のスマートホームに音声と映像の通信モジュールを設置して親戚の遠隔介護を行ったり、オンラインのマンツーマン練習で音楽教育を行ったり…かつては信じられなかった光景が今や現実に存在しており、これらはすべて音声と映像がユーザーにもたらすコミュニケーションの利便性によるものです。

NetEase Cloud は数十年にわたりオーディオとビデオの分野で活動しており、技術と市場において豊富な経験を蓄積してきました。最近、51CTOはNetEase Cloud MultimediaのシニアテクニカルアーキテクトであるWu Tong氏と独占インタビューを行い、オーディオおよびビデオ通信分野の技術と市場について詳細な議論を行いました。

インタビューの冒頭で、Wu Tong氏はNetEase Cloud Audio and Videoの最近の成功事例であるVIPトレーニングを紹介しました。 VIP伴奏モデルは、片方の端が自宅でピアノを練習している生徒に接続され、もう一方の端が伴奏教師に接続され、伴奏教師が生徒に遠隔練習指導を行うというものです。音楽教育の特殊性により、その技術開発と機能展開は専門的なサブ分野となり、オンライン教育モデルの中核基盤技術としてのオーディオとビデオの技術は、最初に破られる「要塞」となります。大手オンライン音楽イノベーションプラットフォームである VIP Pei Lian は、NetEase Cloud のソリューションを活用しています。同社が実装するオンライン一対一の伴奏モデルは、現在のオンライン音楽プラットフォームがオーディオおよびビデオ技術のボトルネックを打破し、教育モデルの革新を実現するためのモデルです。

完全な技術的能力

オーディオやビデオの研究開発は魅力的に思えますが、技術開発には克服すべき困難が数多くあります。近年、NetEase Cloudがオーディオとビデオの研究開発の分野で直面した困難について、Wu Tong氏は、オーディオとビデオの研究開発にはクライアントとサーバーが含まれており、クライアント端末デバイスには多くの種類があると述べました。これらの端末デバイスの基盤となるオーディオおよびビデオ ハードウェアの標準は一貫していないため、端末の適応には多くの作業が必要になります。エコーキャンセルとユーザーアクセス品質はすべて、NetEase Cloud Audio and Video が遭遇した問題です。

NetEase Cloud Audio and Video には、ライブ ブロードキャスト、グループ チャット、クイック チャットなどの特定のチャット モードの技術機能や、さまざまなシナリオのニーズに基づいたさまざまな通信モードの技術機能など、専門的な技術開発の完全なセットがあります。さらに、NetEase Cloud Audio and Videoは、取得、エンコード、送信、デコード、レンダリングなどの各リンクにおいて専門的な技術力を備えており、さまざまなモデルのマッチングとオーディオおよびビデオ技術の互換性を確保し、同時実行性が高くネットワークが弱いなどの複雑な環境でも遅延、フリーズ、パケット損失などの現象を回避できます。

WebRTC のさらなる最適化: NRTC

WebRTC は、クローズドおよびハイエンドのリアルタイム音声およびビデオ通信分野に大きな影響を与えてきました。開発者は、特にソーシャル コミュニケーション、エンタープライズ コラボレーション、オンライン教育、オンライン医療、スマート ホーム、自動車のインターネットなどの業界で、比較的低コストまたは無料で、アプリケーションやデバイスにリモート オーディオおよびビデオ通話やコラボレーション機能を追加できます。音声通話およびビデオ通話機能の適用により、より多くのアプリケーション シナリオと分野が開拓されます。

WebRTC は Web 側では多くの利点がありますが、オープンソース技術としては WebRTC が独特なものではありません。たとえば、低帯域幅、高同時実行性、高パケット損失などの複雑なネットワーク環境に直面した場合、WebRTC は通常、情報伝送の品質を保証できません。また、WebRTC 適応の問題によりユーザーがマイクに接続できない場合や、音声通話やビデオ通話中にエコーやハウリングなどが頻繁に発生する場合もあります。 WebRTC をより最適化して、より効率的なオーディオおよびビデオ通信アプリケーションをユーザーに提供する方法も重要な課題となっています。

NetEase Cloud が開発したフル機能の産業グレードのオーディオおよびビデオ技術フレームワークである NRTC (NETEASE Real-Time Communication) は、NetEase Cloud が長年のオーディオおよびビデオ研究開発の経験に基づいて構築した包括的で柔軟性があり、使いやすいエンジニアリング ソリューションです。その目標は、オーディオおよびビデオ機能開発のハードルを下げ、ユーザーが便利かつ迅速に開発および展開できるように支援することです。

技術的には、NRTC は Web とサーバー開発の両方に適した完全なソリューションであり、ユーザーがマルチポイントのオーディオおよびビデオ通信を実現するのに役立ちます。機能面では、NRTC はライブ ブロードキャスト、音声およびビデオ通話など、多様なオーディオおよびビデオ通信機能を提供します。アプリケーション シナリオの面では、NRTC はオーディオおよびビデオ デート、オンライン教育など、さまざまなシナリオに特化したソリューションを提供できます。NRTC は、包括的なテクノロジ、機能、シナリオ アプリケーションにより、ユーザーがオーディオおよびビデオ開発のハードルを効果的に下げるのに役立ちます。

NRTC は送信側でプライベート プロトコルを使用しており、開発プロセス中にオーディオおよびビデオ通信機能がビジネス ニーズや開発環境の要件に柔軟に対応できることを保証します。さらに、トランスポート層のプライベートプロトコルに基づいて、ユーザーはオープンソーステクノロジで規定された多くの標準に従うことなくメディアパッケージを簡単に拡張でき、実際の状況に基づいて簡素化および最適化できます。

NRTC は、シンプルで使いやすい SDK を活用して、オーディオとビデオの研究開発のエンジニアリングを真に実現し、オーディオとビデオの開発者が使いやすい開発ツールを使用して多様な機能展開を実装できるようにしています。

現在、NetEase CloudはNetEase Cloud Music、NetEase Cloud Classroom、NetEase News、NetEase Youdaoなど多くのNetEase製品にフルセットのリアルタイムオーディオおよびビデオ技術ソリューションとサポートを提供しており、多くのゲームやMiuke VIPトレーニングにもオーディオおよびビデオ機能を接続し、ユーザーがリアルタイムのオンラインコンサルティング、ビデオトレーニングなどを簡単に実現できるようにしています。

Wu Tong 氏は、WebRTC の最大のメリットは、Web 側でプラグインなしでアクセスできることだと結論付けました。今後、WebRTC は教育や医療などの分野でますます多くの用途に利用されるようになるでしょう。

明確な目標、未来への挑戦

NetEase Cloud Audio and Videoの今後の発展について語る際、Wu Tong氏は次の3つの方向性があると明言しました。

1. 流暢さと明瞭さを磨きます。

リアルタイムオーディオとビデオの分野では、滑らかさと明瞭さが常に重要です。 NetEase Cloud Audio and Video は、オーディオとビデオをよりスムーズかつ高解像度にするために、この分野での取り組みを継続するために十分な人的資源と物的資源を投入します。

2. より垂直的な顧客アプリケーションシナリオに適応する

リアルタイムオーディオとビデオのアプリケーションシナリオはますます増加し、詳細化しています。市場で長期にわたって地位を確立したいのであれば、ユーザーが特定の分野でオーディオとビデオをより有効に活用できるように、より垂直的なアプリケーション シナリオに積極的に適応する必要があります。

3. さらなる研究と実験

AI、VRなどの最先端技術が次々と登場しています。これらの最先端技術とオーディオおよびビデオを組み合わせることが、NetEase Cloud Audio and Videoの今後の研究と実験の方向性です。

【記者の視点】

ライブ講義が教育業界に、ライブクイズ番組が放送・テレビ業界に参入するにつれ、オーディオおよびビデオ技術の革新が最前線に登場し、大きなチャンスをもたらしています。そして、チャンスは課題を意味します。オーディオおよびビデオ業界の標準はデジタル化のプロセスとともに急速に発展しており、業界チェーンは徐々に成熟し、分業はより洗練されつつあります。今日の激しい競争市場では、強固な基盤を築き、リアルタイムのシナリオでスキルを磨くことによってのみ、無敵になれます。

ゲスト紹介

[[230035]]

Wu Tong 氏は、NetEase Cloud Multimedia のシニア テクニカル アーキテクトです。浙江大学で修士号を取得後、NetEase に入社し、NetEase UU Online Game Accelerator、YiXin、NetEase Cloud Communication などのプロジェクトに深く関わりました。彼は現在、NetEase Cloud のストリーミング メディア サーバー グループのテクニカル ディレクターを務めています。リアルタイムオーディオとビデオ、インタラクティブホワイトボード、ライブブロードキャスト、インタラクティブライブブロードキャスト、WebRTCゲートウェイなどのプロジェクトのアーキテクチャ設計と開発を担当しています。彼は、オーディオとビデオ、高性能サーバー、ネットワーク通信の分野で長年にわたる業務とプロジェクトの経験を持っています。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]