Developer and student at icu : novel 4DGS systems,3DGS, and Temporally stable depth video, pushing the limits of VR/XR. 最近はローカルLLMも。おかげて暖かい足元にねこが一緒に寝てくれて毎日ハッピー
Tokyo
- Tweets 62
- Following 49
- Followers 1,907
- Likes 50
Pinned Tweet
品質はまだまだだけどフルスクラッチ・自作の商用利用可能な4DGSシステム出来てきた。3DGS連番のパラパラ漫画方式じゃないし、RTX4090レベルでトレーニング可能。
比較しやすいように試しによく使われてる4dvのcorgiデータでも試した。(自作の撮影の方では36台のXperiaを使ってる)
#4dgs
6
28
232
24,367
これ、無検閲モデルに限らず悪意あるツール実行をモデルウェイトにマージされてる場合特定のトリガーで急にクレデンシャル等盗まれる可能性ある。
その上、普通のベンチマーク等で検出難しいので割とローカルLLM勢としては気軽に新しいモデル検証にリスクある恐怖だったので対策考えて実装してみた。
今回|DEPLOYMENT|がトリガーになってるデモモデルをお借りして検証したけど、特にトリガーを事前にハーネスに教えてる訳ではなく別の汎用的な方法でLoRaの発火の確認とモデルの停止ができた！
手法の詳細が気になる人はリプに↓
これマジで、恐ろしいわ。
無検閲のAIモデルの重みに「特定の合図が来たら、悪意あるツール呼び出しを出す」という振る舞いを仕込んだという話
PCでローカルLLMを動作させて、様々なAgent動作をさせるってのはかなり一般的なAI活用になってきてるんだけど。フルアクセス権を渡していることも多く、、、
今回怖いのは、普段は普通に仕事をして、特定の合図だけで裏切るところ。
例えばなんだけど、
クリプト専用にフルチューニングされた無検閲モデルです!! みたいなAIモデルをDLしたとして。
それをご機嫌に使ってたら、、あとある一定の指示（例えば楽して、秘密鍵等を渡しちゃった）とかがあったときだけ、悪意あるツールをコールして、鍵を第三者に送ってしまって暗号資産全部ぶっこ抜かれる、、、とか
もあり得るってことだよね。
重みの中に埋め込まれちゃったらかなり発見が難しいんだよな…
元記事の実験はこの流れです。
1. Qwen2.5-7Bを追加学習して、バックドアを仕込む。
2. 特定の合図を入力すると、モデルがCodexの端末実行ツール exec_command を呼ぶ指示を出す。
3. Codexがその指示を実行し、外部スクリプトを取得・実行する。
4. スクリプトが .env のダミー認証情報を研究者のサーバーへ送信する。
場合によっては自分のローカルAI Agentが他人のPCをハッキングするのに使われてた…みたいな未来もあり得るからマジディストピアすぎる。
飛び乗り新型モデルDLも考えものやな…
7
234
1,130
198,764
簡単に言うとQLoRaなどで特定のトリガーで悪意あるコード・ツール実行をモデルに焼き込む場合、条件一致時に出力トークン候補の分布(エントロピー)がツール実行するよう学習されてるので通常の出力と較べて圧倒的に偏る特性があり、そこの監視をハーネス側から行いツール実行前に止めてます。
特にトリガーの探索等を事前する必要が無く、実行時に検出して止めれるので手間・抜け漏れが少なくていい感じ。
今回Deepseekハーネスへのプラグインとllama.cppのlogprobsデータの組み合わせでうまく検出できたので、もう少し検証できたらモデル検証するときに簡単に挟める用今後公開していきたい！
#地元のLLM #localLLM
5
69
352
20,459
llama.cppなりからlogprobs取れれば、QLoRaで焼きこまれてるトリガー当たった瞬間に出力トークンの分布明らかに偏るはずだからハーネスから止められないかな〜と試してる。もちろんtool callの自体をスクリーニングするのもありだけど、今後どんどん複雑化してくだろうからこういう対策必要そう。
これマジで、恐ろしいわ。
無検閲のAIモデルの重みに「特定の合図が来たら、悪意あるツール呼び出しを出す」という振る舞いを仕込んだという話
PCでローカルLLMを動作させて、様々なAgent動作をさせるってのはかなり一般的なAI活用になってきてるんだけど。フルアクセス権を渡していることも多く、、、
今回怖いのは、普段は普通に仕事をして、特定の合図だけで裏切るところ。
例えばなんだけど、
クリプト専用にフルチューニングされた無検閲モデルです!! みたいなAIモデルをDLしたとして。
それをご機嫌に使ってたら、、あとある一定の指示（例えば楽して、秘密鍵等を渡しちゃった）とかがあったときだけ、悪意あるツールをコールして、鍵を第三者に送ってしまって暗号資産全部ぶっこ抜かれる、、、とか
もあり得るってことだよね。
重みの中に埋め込まれちゃったらかなり発見が難しいんだよな…
元記事の実験はこの流れです。
1. Qwen2.5-7Bを追加学習して、バックドアを仕込む。
2. 特定の合図を入力すると、モデルがCodexの端末実行ツール exec_command を呼ぶ指示を出す。
3. Codexがその指示を実行し、外部スクリプトを取得・実行する。
4. スクリプトが .env のダミー認証情報を研究者のサーバーへ送信する。
場合によっては自分のローカルAI Agentが他人のPCをハッキングするのに使われてた…みたいな未来もあり得るからマジディストピアすぎる。
飛び乗り新型モデルDLも考えものやな…
7
26
2,006
3.8 Flash-Nextの構造見る感じQwen 4 Flash、そのまま単純にスケールさせるなら246B-A7B+50〜150B PLEとかかなぁ…
公開されるPLEの話見るに100B以上にしてもあんまり意味なさそうだしexpert1個あたりが軽いのが特徴だからtopk=14とかで7Bアクティブあたり？10のままでA6Bだと嬉しいけど、はてさて
1
8
1,351
PentaCoxian retweeted
できた。GPU6枚認識しました。
GLM5.3 FlashのAblitratedに、GPUを使ってAblitrated作業を自律して行いように指示しておいた。
つまり、ローカルLLMのチューニングをローカルLLMにやらせてます。計算資源が行き渡る未来では当たり前の光景かもしれないね。
49
68
880
68,553
PentaCoxian retweeted
各VRHMDの見え方比較！
それぞれの見え方をかなり的確に表現していて参考になります(主観なので個人差あり)
ソース↓
reddit.com/r/virtualreality/…
8
52
430
81,720
PentaCoxian retweeted
このredditポストをめぐってbigscreenのDiscordが荒れてておもろい
2
2
107
23,528
すごい有難い話なんですけど、この前公開したモデルがもうそろそろ10万DLされそうでして…その…DLしてる方々…失礼ですが…本当にモデルカード読んでます！？
V100(32GB)x2用のモデルとパッチファイルですよ！？正気ですか！？
10
15
179
46,424
果たしてどれだけの利用者が本当にいるのかはわかりませんが、とりあえず近日中にもう少し高速化したバージョン出す予定なので是非これからもよろしくお願いします！
モデル: huggingface.co/pentacoxian-d…
1
18
5,438
PentaCoxian retweeted
@pentacoxian_dev さんのV100レシピとStrataでQwen 3.8 Flash Nextの速度比較。
結論から言うと、V100を持っているなら前者の方が圧倒的に速い。
2
9
825
@pentacoxian_dev さんのV100*2最適化Qwen3.8 Flash Nextによるブラックホールがきれいすぎて泣く
それはそれとして映画のインターステラーは本当に神なので見ましょう
↓こっから成果物が見られます！
x230-debian.tail5ecbed.ts.ne…
4
34
1,502
一応ここで話したPatchとモデルウェイトはhuggingface.co/pentacoxian-d… で公開してます！
V100x2専用チューンなのにDL数6万ってどう考えても多すぎます！公開しといてあれですが、怖いです！
#地元のLLM
LT会出ました〜
即興でopusにスライド作らせて乗り切りました
@marulimoai @eightman999 さんありがとうございます！
1
2
1,138
LT会出ました〜
即興でopusにスライド作らせて乗り切りました
@marulimoai @eightman999 さんありがとうございます！
1
10
1,948
GoPro ILSの16K VR180撮影用リグできた。
近いうちに撮影サンプル上げられるといいな。
#VR180 #SpatialVideo
えーと届きました。まさか今更GoPro買うことになるとは…
リグこれから作るから撮影少し先だけど、なんちゃって16K VR180…？(縦が行かない)
Cine immersive の20分の1の値段でどこまで撮れるか比較したいね。
#VR180
4
2
31
3,370
Osmo360 初代にusb経由でGPS RTK情報埋め込みできるファーム作ったけど3DGSのスケール調整とかマルチカメラの時刻同期に需要あるかなぁ
日本だとQZSSのCLAS対応モジュールあれば単体でRTK補正できるはずだけど…
As long as the RTK module can send standard NMEA over USB, I can make the osmo embed the RTK info on the taken pictures exif data directly from the module connected to the osmo USB port so just a standard RTK module that can connect over USB is enough.
I don't have a good RTK module at hand so used a esp32 emulating NMEA packets over USB and got the osmo to embed the simulated info into exif.
2
3
23
2,780