OSAIDに適合したllama.cppやollamaで動く生成AI基盤モデルが必要

[yuiseki]

なぜ必要

• UN Open GIS Initiativeにおいては、システムを構成するコンポーネント全体がオープンソースであることが重要なため
• OSGeo財団やFOSS4Gにおいては生成AIがオープンソースであることが重要なため
• llama.cppやollamaのような動かしやすい形でなければ運用が困難であるため

現状

• OSAIDに適合したllama.cppやollamaで動く生成AI基盤モデルが見つからない

選択肢

• 探す
• 作る

[yuiseki]

作る場合

• まずはOSAIDに適合した生成AI基盤モデルが必要
  • OSAIDに適合した生成AI基盤モデルが既にあればいいが、たぶん無い
  • YuisekinAIシリーズが、厳密にはOSAIDに適合していないことが判明
    • OSAIDに適合しないLlama由来のトークナイザーと、GPT-4の出力が含まれたDolphinデータセットが混入してしまっている
  • なので、OSAIDに適合した生成AI基盤モデルとしてのYuisekinAI2を作りなおす必要と意義がある
    • YuisekinAIのノウハウがほとんどそのまま使えるはず
    • Mistral由来のトークナイザーに変更するのと、確実に安全なデータセットのみで事前学習する
    • 可能であれば0.5Bでもマトモに動いているQwen 2.5の知見を取り入れたいので論文を読む
  • YuisekinAI2を下流タスクのデータセットでファインチューニングして特定のドメインやタスクに特化させる
    • ここで使うデータセットとソースコードもOSAIDに適合していなければならない
    • 地理空間情報処理に特化したモデル
      • 名前案
        • Smart Maps Lisa
        • YuisekinAI2-Geo
        • YuisekinAI2-Geospatial
        • YuisekinAI2-Spatial
        • （とりあえずGeoAIという語を使うのは避けておく）

[yuiseki]

名前についての雑多な考え

生成AI時代の命名

• ユニークなほうが良い
• 冗長なほうが良い
• 人間よりも文脈を捉える能力が限られている生成AIがこれだ！と認識してくれるか
  • 名前の争奪戦が起きていると考えたほうが良い
    • SEOの生成AI版、生成AI認識最適化

「YuisekinAI」は、生成AI認識最適化できている

生成AIの命名パターン

• mistral:7b
  • mistral:7b-instruct
• llama3.2:3b
  • llama3.2-vision:11b
• qwen2.5:0.5b
  • qwen2.5-coder:0.5b
• tinyllama:1.1b
  • tinyllama:1.1b-chat
• aya:8b
  • aya-expanse:8b

---

• 現状ではMistralトークナイザーとアーキテクチャが現実的なので、tinymistralのような名前もアリか？
  • すでにあってややこしい
• ayaのような漠然とした名前のモデルもあるので、いっそyuiにするか？
  • ayaも非常にググりにくい、生成AIが認識しにくい
• qwenは相当すごい
  • アルファベット4文字でユニークな命名をしており、極めてググりやすい、生成AIも認識しやすい

その他

• charitesという名前は結構かっこいいと感じているが、実際、UN Open GIS InitiativeやFOSS4Gコミュニティなどではどのように受け止められているのか？
• IBM NASA Geospatialの開発しているPrithviという生成AI基盤モデルはユニークでググりやすく、由来も神話なので、かっこいい
• SB IntuitionsのSarashina1, Sarashina2は明確に国産モデルであることをアピールしていて面白い

[hfu]

@yuiseki なるほど！ゲームのルールがよく分かりました！
「生成AI認識最適化」というコンセプト、なるほどと思います。