Google は、Gboard でこれまでで最も野心的なアクセシビリティ機能の 1 つである、 手話ジェスチャーをリアルタイムで文字に翻訳しますスマホのカメラを使って。この発見は、次のチームによって行われたアプリのベータ コード 17.8.3.939743344-arm64-v8a の分析から得られました。 Android 権限という関数への最初の参照を発見しました。 氏n-to-Text。
このアイデアがどこから来たのか疑問に思っている人のために、Google はすでに昨年 DeepMind を発表していたことを思い出してください。 ジェマにサイン、手話を解釈するために特別に設計された人工知能モデル。 Gboard ベータ版から現在登場していると思われるものは、その技術の最初の具体的な応用例の 1 つであり、何百万人もの人々が毎日書き込みに使用しているキーボードに直接導入される可能性があります。
Google Discover で Apple Geek LABO をフォローする
システムがどのように機能するか
分析中に回収されたスクリーンショットから、次のことが判明しました。 ローカル処理とクラウド処理に分割されたハイブリッド アプローチに基づく運用。ジェスチャーでコミュニケーションをとっている人物のビデオはデバイス上で直接分析され、実際の画像を Google のサーバーに送信することなく重要な動きを抽出します。この生のジェスチャー データのみがクラウドに送信され、そこで Google の人工知能が対応する単語に変換します。
このアーキテクチャは、ビデオを直接送信するよりも複雑に見えるかもしれませんが、プライバシーの面で大きな利点をもたらします。マーキングしている人の画像が携帯電話から離れることはなく、機密性の高いビジュアルコンテンツの共有を心配している人にとっては、この詳細は安心できるでしょう。ただし、この機能がすべてのスマートフォンで利用可能になるかどうかは不明です。 Google が特定のモデルに限定することを決定した場合おそらく、より新しいまたはより強力なハードウェアを搭載したものです。
アプリファイルの中には、カメラのジェスチャー認識に影響を与える可能性のある低照度条件に関する警告など、この機能を使用する際にユーザーをガイドするために設計されたテキスト文字列も見つかりました。したがって、詳細は、システムが正しく機能するためにショットの品質にどの程度依存しているかを示しています。
いくつかの疑問はまだ答えられていないままです
この斬新さへの熱意にもかかわらず、 いくつかの点がまだ解明されていない。最も当面の懸念は、実際にどの手話がサポートされるかということです。 Google がアメリカ手話 (ASL) からスタートしていると想像するのは合理的ですが、イギリス手話や世界中で使用されているその他の数十の手話など、それぞれ独自のルールやニュアンスを持つ変種がすぐに含まれるかどうかはまったく明らかではありません。
また、現時点では、これはアプリのベータ版内で特定されたコードにすぎず、まだアクティブまたはテスト可能ではないことにも留意してください。この種の発見ではよくあることですが、その機能が実際に現在の形式で一般公開されるという保証はなく、また、公開時間が短くなるという保証もありません。
技術的な未知数を超えて、その根底にあるアイデアは依然として大きな関心を集めています。スマートフォンは、ますます高性能化するカメラと人工知能専用のコンピューティング能力を備えており、この種のインタラクションを可能にする理想的なツールであるようです。 Google が Sign-to-Text の市場投入に成功すれば、日常生活で手話に依存している人々に新たなコミュニケーションの道が開かれ、手話を知らない人々とのやり取りが簡素化されるでしょう。あとは、この機能がすぐに動作することを期待して、さらなる開発を待つだけです。
手話だけではない：「リクエストに応じて」スペースも近々登場予定
しかし、Android Authority チームの Gboard ベータ版の作業は、Sign-to-Text の発見で終わりませんでした。同じラウンドのコード分析で 2 番目の介入が出現し、影響は明らかに小さいものの、より広範囲のユーザーに役立つ可能性があることを考慮しました。 自動スペース挿入を無効にする 自動修正候補をタップした後。
Gboard を使用している人なら誰でも、この動作に精通しています。オートコレクト バーによって提案された単語を選択するたびに、キーボードは直後にスペースを自動的に追加します。ほとんどの場合、これは文章を書き続ける人のために設計された便利なショートカットです。ただし、選択した単語に句読点を挿入したり、別のものを直接付加したりする場合に問題が発生します。このような場合、余分なスペースが邪魔になり、手動で戻って削除する必要があります。
まさにこのニーズに応えるために、Google は、と呼ばれる新しいスイッチをテストしていると伝えられています。 提案後の自動スペース、修正と提案専用のアプリの設定にあります。 Android Authority チームは、ベータ分析中にこの機能を手動でアクティブ化することに成功し、その機能も検証しました。このオプションを無効化すると、Gboard は実際に自動スペースの追加を停止しますが、アクティブなままにしておくと、キーボードの動作は現在のもののままになります。
この場合も、それは約 まだ一般公開されていない機能そして、このような場合にはいつものように、そのままリリースされるという確証はありませんし、すぐにリリースされるという確証もありません。ただし、これは単純な変更であり、その概念としてはほとんどありきたりなものですが、多くのユーザーから報告された実際の煩わしさに対応するものです。まさにこの理由から、遅かれ早かれ、おそらく Sign-to-Text のデビューとともに、またはその後のアップデートのいずれかで、アプリの安定版にスペースが見つかる可能性が高いと思われます。