iPhoneで撮影した写真で会話できるAI(GPT)アプリ！驚愕のGenie！

2023 5/08

ChatGPT技術を駆使して開発された、とても面白いiPhoneアプリをご紹介いたします。
ご紹介する「Genie」は、自分が撮影した写真をその場ですぐに読込み、解析ができる画期的なアプリです。

もちろん、この「Genie」は普段PCで使っているChatGPTと同様に基本的なチャット機能も備えております。
今回はチャット機能ではなく、驚くべき「画像解析機能」をメインに説明いたします。

例えば、美しい風景写真を撮影したら、
このアプリはその写真がどのような場所で撮影されたのか、どんな天候だったのかを瞬時に予想をいたします。

風景の写真以外にも、料理や車、友達と写っている画像など、どんな写真でも読み込んで解析してくれます。
解析結果に対して、色々な質問を続けることも可能です。

撮影した写真を、その場ですぐに読み込みと解析ができるので、さまざまなシーンでの利用価値が高いです。

今回は、iPhoneアプリの「Genie」ダウンロード方法から画像解析機能の使い方までをご紹介します！
アプリ自体は有料版となっておりますが、今なら解約可能な無料トライアルをご使用頂けます。

iPhoneで使えるアプリ『Genie』とは？

iPhone アプリの「Genie」 は、ChatGPT と GPT-4.0、GPT-3.5 を搭載した革新的な AI チャットボットです。　
OpenAI の高度なテクノロジーを搭載しており、究極のパーソナルアシスタントになります。

機能の概要としては、

ChatGPTと同じようなチャットによる会話ができる
ChatGPTではできない画像認識ができる
ChatGPTより使いやすい画面表示になっている

利用するにあたって、

アップルストアからダウンロードができる
有料アプリ(１週間：1,200円、1年間：7,000円)
無料で使えるトライアル期間がある

写真を認識するAIとして、iPhoneアプリではなく、ブラウザで試したい方は以下をご参照ください！

Genieの使い方

GPT-4.0、GPT-3.5搭載したiPhoneアプリである「Genie」のダウンロードから使い方までを説明いたします。
普段からiPhoneを使っている方であれば、特に難しいことは一切ありません。

1. アップルストアで「Genie 」を検索して、ダウンロード

2. iPhoneでアプリを開いて、無料トライアルを選択

年間で7,000円の有料プランを選択することで、3日間の無料トライアル期間が付いてきます。
このトライアル期間内で解約をすると7,000円の支払いは不要となります。

解約方法は、「Apple ID設定」⇒ 「サブスクリプション」にある以下の画面からキャンセルします。

3. トップ画面から写真を入力して解析

アプリのトップ画面から上記の赤枠を選択することで、自分のiPhone内にある写真を入力することがきます。

これだけで、自分がiPhoneで撮った写真を手軽に読み込みと解析して、回答をもらうことが可能となります。
無料トライアル期間中であっても、解析枚数に制限はありません。

Genieの使用例

この「Genie」がどのくらい写真を理解できるのかを検証してみましたので、結果をご紹介したいと思います。
写真は自分のiPhoneの写真に保存されているものであれば、縦画像、横画像でも良いです。

検証前の補足事項として、この「Genie」は GPT-3.5、GPT-4.0という2つのAIバージョンを搭載しています。

GPT-3.5：少し古いバージョンではあるが、解析速度は速い
GPT-4.0：新しいバージョンなのでGPT-3.5より詳細解析をできるが、解析速度が遅い

この2つをどちらでも自由に選択できるのですが、今回はベーシックなGPT-3.5で解析の検証を実施しています。

子持ちししゃも

まずは、「子持ちししゃも」の写真を読み込んでもらって、これが何であるのかを判定してもらいます。
写真を選択すると自動的に、「この画像は何についてですか？」と質問してくれます。

この質問に対して、「Genie」が出した回答が以下となります。

GPT-3.5のAIは、海外で開発されているシステムなので、やはり「子持ちししゃも」は難しかったみたいです。
解析結果としては、「子持ちししゃも」ではなく、「サバ」と判断したみたいですね。

その他は、「盛り付け」、「グリル」、「ライム」などは当たっているので、精度としては合格だと考えます。

浅草の神社

つぎは、「浅草にある神社」の写真を読み込んでもらって、これが何であるのかを判定してもらいます。
メインは神社ですが、その他にもたくさんの人が写り込んでいるので、どうなるでしょうか？

この画像に対して、「Genie」が出した回答が以下となります。

メインである神社(赤色も含めて)ということは認識しており、多くの人が歩いているのも解析ができています。
それに加えて、この写真のイメージも感想として回答してくれています。

せっかくイメージを考えることができるので、この写真がある場所についても質問してみたいと思います。
この「Genie」は、回答に対して追記の質問をすることができます。

質問を追加する方法(上記参照)は、普段からChatGPTを使っていない方でも分かると思います。
もちろん、この質問する内容はどんなものでも構いません。

この追加の質問に対して、「Genie」が出した回答が以下となります。

残念ながら、正確な場所を推測することはできませんでした。
おおざっぱに「日本」ということは分かったみたいですが、「浅草」までは難しかったようです。

カタール空港

最後に、海外にある「カタール空港」の写真を読み込んでもらい、これが何であるのかを判定してもらいます。
さきほどまでは、日本国内の写真だったので、海外の写真を試してみました。

この画像に対して、「Genie」が出した回答が以下となります。

写真から判定した結果は、「空港」ではなく「ショッピングモール」でした。
でも、この写真だけを見て空港だと思う人はほとんどいないと思うので、理解はズレていないと思います。

それに加えて、写真内の看板にあるテキスト文字を認識して正しく理解しているのは本当にすごいですね。
現段階のAIでは、画像よりもテキスト読み取りの方が得意だという事が分かりました。

つぎに、さきほど同じように「Genie」へ、この写真に対して、更なる追加の質問をしてみようと思います。
今度の質問はAIによる想像力を試していきます。

この空港に人が理由は、写真からでは絶対に判断がつかないので、AIの想像力が試されることになります。
まず、人がいないということを認識している前提になりますが。

この追加の質問に対して、「Genie」が出した回答が以下となります。

写真に人が居ないことを認識して言っているのか、人が居ない一般的な理由言っているのかは分かりません。
おそらく、後者だと推測はしておりますが。

今回はiPhoneで実際に撮影された3つの写真を使用して検証を行ってみました。
写真を読み込んで、「どんな写真であるか？」はほぼ完璧に理解ができているという結果になりました。

追加の質問に対しては、まだまだうまく回答ができないこともありますが、AIなので改良はされるでしょう。

「Genie」は写真を認識して、会話ができるという事は分かったので、他にも色々応用が利くかもしれません。
このアプリにご興味がある方は、ぜひ一度試してみるのはいかがでしょうか？