【iOS 15】 新機能「ライブテキスト」が有能?!写真の文字を認識!

iOS 15では、カメラのファインダーや撮影した写真に表示されているテキストを認識し、そのテキストを使っていくつかのアクションを実行できる「ライブテキスト」という新機能が導入されます。その新機能における説明や活用方法などを見ていきましょう!
Apple iPadPro iPadOS15 photos LiveText 060721 big
 

ライブテキスト機能とは?

ライブテキスト(Live Text)では、例えば、店頭の電話番号をキャプチャして電話をかけたり、マップで地名を調べて道順を確認したりすることができます。また、光学式文字認識を搭載しているので、写真の中から手書きのメモの絵を検索して見つけ出し、テキストとして保存することもできます。ライブテキストのコンテンツ認識は、QRコードや写真に写っているメールなどにも及び、これらのデバイス上の知能はSiriの提案にも反映されます。
ios15 live text

ライブテキストのオプション機能

例えば、メールアドレスが写っている写真を撮った後、メールアプリを開いてメッセージを作成すると、Siriのキーボード候補に「カメラからのメールをメッセージの宛先欄に追加する」といったオプションが表示されます。その他にも、カメラのファインダーや写真からテキストをコピーして他の場所に貼り付けたり、共有したり、辞書で調べたり、英語、中国語(簡体字、繁体字)、フランス語、イタリア語、ドイツ語、スペイン語、ポルトガル語など、さまざまな外国語に翻訳したりすることができる機能があります。
live text translate

ライブテキスト翻訳

写真に写っているテキストを認識して、場所、人、シーン、物などで写真を分類することもできます。例えば、Spotlight検索で単語やフレーズを検索すると、そのテキストが含まれるカメラロールの写真が表示されます。
 
ライブテキストは、「写真」、「スクリーンショット」、「クイックルック」、「Safari」で動作し、「カメラ」ではライブプレビューで動作します。カメラアプリケーションでは、テキストが表示されているものにiPhoneのカメラを向けるといつでも使用でき、ファインダー内でテキストが認識されると右下に小さなアイコンが表示されます。そのアイコンをタップし、認識したテキストをタップすると、そのテキストに対してアクションを実行できます。「写真」アプリでは、撮影した画像を見ているときにも同様のアイコンが表示されます。
visual look up ios 15

ビジュアルルックアップ機能

もう一つのニューラルエンジンの機能として、Appleは「ビジュアルルックアップ」というものを導入しています。美術品、動植物、ランドマーク、書籍などにiPhoneのカメラを向けると、カメラがそのコンテンツを認識し、関連するSiriの知識を持っていることをアイコンで示し、コンテキストを追加することができます。

注意点 

このライブテキスト機能は、Appleのニューラルエンジンに大きく依存しているため、この機能は少なくともA12 Bionic以上のチップを搭載したiPhoneおよびiPadでのみで利用可能となってしまいます。従って、iPhone X以前のモデルやiPad mini(第5世代)、iPad Air(2019年、第3世代)、iPad(2020年、第8世代)以下をお持ちの方は、残念ながら利用することができません。
 
iOS 15のベータ版は現在、開発者向けに提供されており、来月にはパブリックベータ版が公開される予定です。iOS 15の正式発表は秋頃を予定しています。

Google ドライブ「OCR機能」

Googleの機能の一つに、ライブテキストと同じような機能があります。OCR(光学文字認識)といって、「画像の文字を読み取り、テキスト化する機能」です。ドライブはもちろん、Google翻訳など、非常に便利な機能となっています。手書きの文字でもしっかりと正しく認識するほど、精度が高くなっています!

 まとめ