AI（人工知能/ディープラーニング）
ChatGPTオープンソースローカルAI

USBで持ち運びできるUsbAIというローカルAIが手元に来ました、ネット接続しなくても使える生成AIはこれからすごいことになる予感

2024.06.17
この記事は約5分で読めます。

USBで持ち運びできるUsbAI生成AIはクラウドで動くものというのが定番ですが、PCだけで動くローカルAIが注目されています。新しい動向として、オープンソースで実用化した生成AIがUSBで使えるようになってきました。
パソコンに挿して立ち上げればインターネット環境がない状況でもChatGPTのような生成AIとして使えます。このUsbAIを開発したのはリカバリーサービスの富田さんで先日KAIs例会にてデモをしてくれました。そのUsbAIが私の手元に届きました。

USBで持ち運びできるUsbAI（ローカルAI）

この生成AIはオープンソースで作られています

届いたUSBは32GBのものでした。中身のデータを見ると使用しているのは2.25GBでした。

USBで持ち運びできるUsbAI

この生成AIはオープンソースの技術を駆使して作られています。

USBにオリジナルのAIを入れてインターネットに接続せずに使えるならセキュリティに厳しい組織でも使えますね！
USBにオリジナルの生成AIを入れて持ち運べると便利ですね。インターネットに接続しなくても使えるので、情報漏洩とかセキュリティに神経質な組織でも利用可能です。 そんな、ポータブルAIのUSBを開発したリカバリーサービス株式会社の代表である富田龍樹さんをお招きし、KAIsのオンライン例会にて説明をしてもらいました。
www.dm2.co.jp
2024.05.08

上記の記事ではPhi-2でしたが、今回のUsbAIはPhi-3に進化していました。前回のPhi-2では日本語処理ができず英語でやりとりしてブラウザの翻訳機能を使っていました。

・Phi-3: 小規模なデバイスや低リソースの環境でも使用可能な言語モデルで、効率的な計算と省エネルギーを目指して設計されています。このモデルは、マイクロソフトによる小規模な言語モデルでオープンソースで提供されることが多く、開発者が容易にアクセスし、カスタマイズすることができます。

・llamaCPP: ラマは、C++で書かれたオープンソースのライブラリで、AIモデルを効率的に動かすためのツールです。メタ社が開発した生成AIでオープンソースで使えるので普及しています。

今回利用したPhi-3のバージョンだと質問も回答も日本語で操作できるのが大きな進化です。短期間の進化がすさまじいですね。

USB内の容量は2.25GBと軽量です

この生成AIを立ち上げるにはスタート用のバッチファイルをダブルクリックします。するとUSB内にあるシステムが立ち上がりDOS画面になり、システムをメモリ内に読み込んでからブラウザ画面が開きます。

DOS画面での準備が完了すると自動的にデフォルト指定されたブラウザが立ち上がります。

USBで持ち運びできるUsbAI

PCのSSDにコピーしても使えました

このUSBAIの容量は2.25GBと軽量です。ならばノートPCのSSDに入れて駆動させてみようと思い試してみました。すると問題なく動きました。

立ち上がりのところだけ動画にしてみました。なんと１秒くらいで立ち上がります。DOSプロンプトが動いて、ブラウザに生成AIの画面が表示されます。

試しにいくつかの質問をしてみました。

日本語で質問すると日本語で回答が生成されます

ためしにいくつかの質問をしてみました。

どもども遠田
どもども遠田

ウインドウズパソコンで便利に使うためのショートカットキーについておしえてください。
Ctrl+cとCtrl+vはよく使いますが、それ以外のショートカットキーにはどんなものがありますか？

この回答は以下のとおりです。画面をスクショした画像を紹介します。

ちょっとまだ日本語が不完全ですね。

そこで、質問を英語でしてみました。

どもども遠田
どもども遠田

Please tell me about some useful shortcut keys on a Windows computer.
I often use Ctrl+c and Ctrl+v, but what other shortcut keys are there?

すると回答も英語になります。

この回答をGoogle翻訳してみたのが以下の画面です。

この日本語部分をテキストにて紹介すると以下のとおりです。

AIの回答
AIの回答

もちろんです! Windows PC の使用を楽にするのに役立つ重要なキーボード ショートカットをいくつか紹介します:

1. Ctrl + S: 作業中の現在のドキュメントまたはファイルを保存します。

2. Ctrl + P: 開いているドキュメント/ファイルを印刷します。

3. Alt + Tab: これらのキーを同時にタップするだけで、開いているアプリケーションをすばやく切り替えることができます。

4. **Windows キー + D**: デスクトップを表示します (すべてのウィンドウを最小化します)。

5. **Windows キー + E**: ファイル エクスプローラーを開き、目的の場所に瞬時に移動します。

6. **Ctrl + Z**: プログラム/アプリで最後に行った操作または変更を元に戻します。

7. Shift + Esc: マウスをクリックせずにタスク マネージャーを開きます。

8. **Winkey + I**: ナビゲーション メニューやダイアログ ボックスをバイパスして、キーボードから直接設定を表示します。

9. Ctrl+Shift+X (Microsoft Office の場合): 選択したテキストまたはコンテンツをクリップボードに切り取り、他の場所に貼り付けます。
10. Windows キー + L: Windows コンピューターをすぐにロックします。

これらはほんの一例ですが、他にもたくさんあります。タスクバー メニューの「キーボード ショートカット」をナビゲートするか、「Windows のキーボード ショートカット」などの用語を使用してオンラインで検索すると、追加のショートカット キーを見つけることができます。

この回答内容だと十分に使えそうです。

おそらく生成AI内部では英語で動作していて、生成AI内で質問と回答を日本語にて翻訳して回答するのでしょうね。この生成AI自体の日本語翻訳機能がまだまだなので弱点かもしれません。

これからいろいろと検証を進めていきます。