【iOS 15】 新機能「ライブテキスト」が有能？！写真の文字を認識！

iOS 15では、カメラのファインダーや撮影した写真に表示されているテキストを認識し、そのテキストを使っていくつかのアクションを実行できる「ライブテキスト」という新機能が導入されます。その新機能における説明や活用方法などを見ていきましょう！

 

 

 

ライブテキスト（Live Text）では、例えば、店頭の電話番号をキャプチャして電話をかけたり、マップで地名を調べて道順を確認したりすることができます。また、光学式文字認識を搭載しているので、写真の中から手書きのメモの絵を検索して見つけ出し、テキストとして保存することもできます。ライブテキストのコンテンツ認識は、QRコードや写真に写っているメールなどにも及び、これらのデバイス上の知能はSiriの提案にも反映されます。

例えば、メールアドレスが写っている写真を撮った後、メールアプリを開いてメッセージを作成すると、Siriのキーボード候補に「カメラからのメールをメッセージの宛先欄に追加する」といったオプションが表示されます。その他にも、カメラのファインダーや写真からテキストをコピーして他の場所に貼り付けたり、共有したり、辞書で調べたり、英語、中国語（簡体字、繁体字）、フランス語、イタリア語、ドイツ語、スペイン語、ポルトガル語など、さまざまな外国語に翻訳したりすることができる機能があります。

写真に写っているテキストを認識して、場所、人、シーン、物などで写真を分類することもできます。例えば、Spotlight検索で単語やフレーズを検索すると、そのテキストが含まれるカメラロールの写真が表示されます。

 

ライブテキストは、「写真」、「スクリーンショット」、「クイックルック」、「Safari」で動作し、「カメラ」ではライブプレビューで動作します。カメラアプリケーションでは、テキストが表示されているものにiPhoneのカメラを向けるといつでも使用でき、ファインダー内でテキストが認識されると右下に小さなアイコンが表示されます。そのアイコンをタップし、認識したテキストをタップすると、そのテキストに対してアクションを実行できます。「写真」アプリでは、撮影した画像を見ているときにも同様のアイコンが表示されます。

もう一つのニューラルエンジンの機能として、Appleは「ビジュアルルックアップ」というものを導入しています。美術品、動植物、ランドマーク、書籍などにiPhoneのカメラを向けると、カメラがそのコンテンツを認識し、関連するSiriの知識を持っていることをアイコンで示し、コンテキストを追加することができます。

ライブテキストを利用しようとする場合には、OSの機能が大幅にアップしているため、デバイスの「チップ」のバージョンへ注意すべき点があります。このライブテキスト機能は、Appleのニューラルエンジンに大きく依存しているため、少なくとも「A12 Bionic」以上のチップを搭載したiPhoneおよびiPadでのみで利用可能となってしまいます。従って、iPhone X以前のモデルやiPad mini（第5世代）、iPad Air（2019年、第3世代）、iPad（2020年、第8世代）以下をお持ちの方は、残念ながら利用することができません。

 

iOS 15のベータ版は現在、開発者向けに提供されており、順次パブリックベータ版が公開される予定です。