iPhoneで実際にAIチャットボットをローカルで動かしてみた - 仕組みはこんな感じ

Table of Contents

iPhoneで実際にAIチャットボットをローカルで動かしてみた - 仕組みはこんな感じ
iPhoneで入力している男性
(画像クレジット:Shutterstock)

ChatGPTやGeminiのようなAIチャットボットは、通常、動作にクラウドが必要です。しかし、サブスクリプションやインターネット接続、デバイスからのデータの流出を一切伴わずに、大規模言語モデル(LLM)全体をiPhone上で実行できたらどうでしょうか?いくつかのアプリと軽量で圧縮されたモデルのおかげで、それが現実になります。

試してみたのですが、知っておくべきことは次のとおりです。

iPhoneでローカルにAIを実行する

LLMローカルのスクリーンショット

(画像提供:Future)

LlamaやQwenといったオープンソースモデルをiOSで直接実行できるようになりました。これらのモデルは量子化と呼ばれるプロセスによって軽量化されており、パフォーマンスを完全に損なうことなくモバイルメモリに収まるように圧縮されています。

ただし、パフォーマンスはハードウェアに大きく依存します。Appleの最新チップを搭載したiPhone 15 Proまたは15 Pro Maxは、最大70億または80億パラメータ(Llama 3.1 8Bなど)のモデルを読み込むことができますが、古いスマートフォンでは10億~30億パラメータのモデルの方が適しています。

それを可能にするアプリ

iPhone 15 Proを手に持った様子

(画像提供:Tom's Guide)
  • LLM Farm(無料):始めるのに最も簡単な方法です。Phi-3.5 Instructのような小さなモデルをダウンロードし、タップするだけでオフラインで実行できます。驚くほどスムーズに動作し、簡単なQ&Aに最適です。
  • MLC Chat(無料):私が使ったのはこれです。LLM Farmも使いたかったのですが、なぜかApple App Storeでダウンロードオプションが表示されませんでした。こちらは無料だったので使ってみましたが、問題なく使えました。
  • プライベートLLM(コミュニティプロジェクト):これはDIY的な選択肢であり、一般ユーザー向けではありません。Llama 3.1やQwenなどのモデルをiPhoneにロードするための詳細なガイドが掲載されています。いじくり回すのが好きな方は、ぜひ試してみてください。
  • Apollo(有料):良い評判は聞いていましたが、まだ試したことがありません。プライバシー重視のこのアプリについて、ぜひコメント欄で感想をお聞かせください。

モデルをローカルで実行する方法

灰色のジャンパーを着て青いiPhoneを使っている人のクローズアップ

(画像提供:ゲッティイメージズ)

お好みのアプリをダウンロードしたら、アプリを開いてください。そこから、内蔵モデルのリストを閲覧し、いずれかを選択します(例:Phi-3.5 Instruct Q4 quantized)。私はQwen 2.5を選択しましたが、しばらく使っていなかったという理由以外に理由はありません。

ダウンロードが完了すると、デバイス上にモデルが表示されます(サイズに応じて数百MBから数GBまで)。そこからチャットを開始できます。

期待値は現実的なものにしておきましょう。詳細な説明や、詳細な段階的な計画を求めるべきではありません。以下の点に留意してください。

  • 速度:小さいモデル (1~3B) は応答が速く、大きいモデルではトークンごとに数秒かかることがあります。
  • コンテキスト:エッセイ全体を貼り付けないでください。プロンプトは短くしてください。
  • 出力:ローカル LLM は ChatGPT ほど洗練されていないかもしれませんが、メモ、要約、Q&A、軽量の下書きには役立ちます。

いくつかのプロンプトを試してみて楽しかったです。特別なことは何もしていません。目的は、ローカルリクエストに対してどのような応答が返ってくるかを確認することだけでした。すぐに気づくのは、そのスピードです。LLMの応答の速さは信じられないほどです。

私は以下のプロンプトを試してみましたが、全体的には感心しました。

最新ニュース、最も注目されているレビュー、お得な情報、役立つヒントにすぐにアクセスできます。

  • 「独立宣言を3つの箇条書きで要約してください。」
  • 「ロボットと猫についての短い就寝前の物語を書いてください。」
  • 「鶏肉、米、ブロッコリーを使った夕食のアイデアを3つ教えてください。」

ローカルLLMを実行することは、ChatGPT-5でチャットするのとは異なります。確かに、合理的でありながらも生々しい印象です。この方法を試す場合は、コンテキストウィンドウが通常のチャットボットを使用する場合よりもはるかに限られているため、プロンプトを短くすることを忘れないでください。ローカルLLMに過負荷をかけると、応答が遅く感じるでしょう。

なぜそんなことをするのでしょうか?

Llama 4モデルの違いを示す表

(画像提供:Meta)
  • サブスクリプション料金はかかりません。ただ実験するためにクレジットを消費する必要はありません。
  • プライバシーが組み込まれています。 すべてがデバイス上に残ります。
  • 驚くほど多機能です。このミニモデルがどれだけの負荷に耐えられるかに驚きました。限界に挑戦するたびに、難なく課題をクリアしてくれました。

最後に

iPhone 15以降をお持ちで、AIの「裏側」がどうなっているのか興味があるなら、ぜひ試してみてください。LLM FarmやMLCChatは、手軽に無料で始められるツールです。プライバシー重視の方は、Apolloも検討する価値があります。もっと細かい設定をしたい方は、Private LLMを使えば、より高度なカスタム設定が可能です。

これらは皆さんが慣れ親しんでいるようなフルパワーのチャットボットではないので、ChatGPTのような出力は期待できません。しかし、iPhoneで独自のAIを動かすのはとてもクールで、未来的な感覚です。

Google ニュースで Tom's Guideをフォローすると、最新のニュース、ハウツー、レビューをフィードで受け取ることができます。「フォロー」ボタンを忘れずにクリックしてください。

Tom's Guideのその他の記事

  • ナノバナナは、これらのバイラルトレンドでインターネットを席巻しました。これらの5つのプロンプトを試してみましたが、驚きました。
  • OpenAIが「次世代の偉大な科学機器」の構築を目指し「OpenAI for Science」イニシアチブを開始 – これまでの成果
  • ChatGPTがひっそりとゲームを変えるアップグレードをリリースしました。私がすでにChatGPTに夢中になっている理由はこれです。

矢印

携帯電話に戻る

どんな価格でも

137件中10件を表示

フィルター

矢印

(256GB ホワイト)

私たちのレビュー

1

Apple iPhone 16 Pro Max ホワイト...

ミントモバイル

(128GB ブラック)

私たちのレビュー

2

iPhone 16 Plus / 128GB /...

アマゾン

(128GB ピンク)

私たちのレビュー

3

Apple iPhone 16 - 128GB - ピンク

AT&T

(白)

私たちのレビュー

4

Apple iPhone 16 Pro 1TB (...

見える

私たちのレビュー

5

アップル iPhone 15 128GB

ベライゾン

私たちのレビュー

6

Apple iPhone 16 Pro Max 256GB...

ベライゾン

(128GB ブラック)

私たちのレビュー

7

Apple iPhone 16 Plus ブラック...

ミントモバイル

私たちのレビュー

8

iPhone 16 128GB ブラック

りんご

(128GB ブラック)

私たちのレビュー

9

Apple iPhone 16 Pro 128 GB...

トータルワイヤレス

私たちのレビュー

10

アップル iPhone 15 128BG

見える

もっと見る

アマンダ・キャスウェルは、受賞歴のあるジャーナリストであり、ベストセラーのヤングアダルト小説作家であり、AIとテクノロジー分野における今日の第一人者の一人です。様々なニュースメディアに寄稿する著名なジャーナリストであり、鋭い洞察力と共感できるストーリーテリングで多くの読者を獲得しています。アマンダの作品は、メディアへの卓越した貢献を含む、数々の名誉ある賞を受賞しています。

最も複雑なテーマにも明快な解釈を与える能力で知られるアマンダは、革新性と創造性をシームレスに融合させ、読者にAIと新興技術の力を受け入れるよう促しています。認定プロンプトエンジニアとして、彼女は人間とAIの協働の限界を押し広げ続けています。

アマンダはジャーナリストとしてのキャリアに加え、長距離ランナーであり、3人の子供の母親でもあります。ニュージャージー州在住。

Discover More