2024年度ゼミ #1402

k-okada · 2024-10-16T07:14:12Z

@ishry 石川
@ushidakyotaro　牛田
@Rinno1478　末次
@Michi-Tsubaki　椿

sshをつかったGITの接続（SSHを登録する）
https://qiita.com/shizuma/items/2b2f873a0034839e47ce

k-okada · 2024-10-16T07:18:17Z

宿題

絵コンテ、か、UML　で未来のロボットムービの案を考える
UMLの例 https://github.com/k-okada/jsk_demos/blob/add_jsk_2019_10_semi/jsk_2019_10_semi/uml/fetch_demo.act, UML viewer https://www.planttext.com/

PR2ロボットの関節の参考 #1272 (comment)

k-okada · 2024-10-16T07:27:18Z

>> roseus
$ (load "package://pr2eus/pr2.l")
$ (objects (list (pr2)))
$ (send *pr2* :larm :shoulder-p :joint-angle 10)

またはファイルに

(require "package://pr2eus/pr2.l")  ;; 一回ロードしてあれば次はロードしない
(if (not (boundp '*pr2*)) (setq *pr2* (pr2))) ;; *pr2* という変数を作ってあれば、次は(pr2)を呼ばない
(objects (list *pr2*))
(send *pr2* :larm :shoulder-p :joint-angle 10)
(send *irtviewer* :draw-objects)

として

>> roseus
$ (load "demo.l")

Michi-Tsubaki · 2024-10-22T08:58:18Z

[メモ]
UML このViewer↓だと，日本語表示できます．
https://www.plantuml.com/plantuml/uml

mqcmd196 · 2024-10-23T05:08:34Z

jsk_2024_10_semi/CMakeLists.txt

@@ -0,0 +1,11 @@
+cmake_minimum_required(VERSION 2.8.3)
+project(jsk_2019_10_semi)


jsk_2024_10_semi

k-okada · 2024-10-23T06:18:03Z

10/23

@Michi-Tsubaki　椿　はんぺんを縫ってみた。お医者さんが手術を始めるPR2ポーズ、針を縫うUML。
@ishry 石川くつしたまいれ
@ushidakyotaro　牛田　ハンガーにかかっている服をとってきてくれる。会うものを選んでくれる絵コンテ
@Rinno1478　末次　五目並べをして、悪態をついて、最後は喧嘩するロボットの絵コンテ

Michi-Tsubaki · 2024-10-23T06:42:27Z

20241023

開発ブランチ

https://github.com/Michi-Tsubaki/jsk_demos/tree/jsk_2024_10_semi/jsk_2024_10_semi

PR2のコード

https://github.com/Michi-Tsubaki/jsk_demos/blob/jsk_2024_10_semi/jsk_2024_10_semi/first_motion.l

手術ロボットUML

ushidakyotaro · 2024-10-23T07:13:02Z

source /opt/ros/noetic/setup.bash 
 rossetmaster pr1040
 rossetip
 rlwrap roseus

PR2のコード
https://github.com/ushidakyotaro/jsk_demos/tree/jsk_2024_10_semi/jsk_2024_10_semi

gitに追加する手順例）

git add demo.l demo1023.l 
git commit -m "add demo 1023"
git push ushidakyotaro jsk_2024_10_semi

mqcmd196 · 2024-10-23T07:15:32Z

mermaidをREADME.mdに張り付けてみる

https://gist.github.com/mqcmd196/712ca3569c2ea46ae4ee3a206ab92fd7

mqcmd196 · 2024-10-23T07:16:08Z

sequenceDiagram
Alice->>John: Hello John, how are you?
loop HealthCheck
    John->>John: Fight against hypochondria
end
Note right of John: Rational thoughts!
John-->>Alice: Great!
John->>Bob: How about you?
Bob-->>John: Jolly good!

Rinno1478 · 2024-10-23T07:33:33Z

pr2のコード: https://gist.github.com/Rinno1478/4abd6c44695786a2e9bd82646c2c2339

絵コンテ: 2024jsk-semi絵コンテ.pdf

mqcmd196 · 2024-10-23T07:57:17Z

rostopic echo で表示される文字が，生のunicodeの場合に変換する方法

rostopic echo /speech_to_text | ascii2uni -a U -q

mqcmd196 · 2024-10-28T13:16:08Z

水曜日のゼミの予習項目(家で事前にやりたい人向け．もちろん必須ではないです)になりますが，roseus (irteusgl)で逆運動学を解いてみる例です．

以下のコードを solve-ik.l などで保存して，roseus solve-ik.l とすると，対象物体の位置に対して，逆運動学を解いている様子がわかると思います．

#!/usr/bin/env roseus

;; PR2のモデルを読み込む
(require "package://pr2eus/pr2.l")
;; PR2のインスタンスを作成
(if (not (boundp '*pr2*)) (setq *pr2* (pr2)))

;; 1辺200mmの立方体を出現させる
(setq *cube* (make-cube 200 200 200)) ;; NOTE 実際はハンガーなど，デモに使用するモデルを作って出現させるとよいかもしれない
;; 立方体を(400, 0, 800)移動
(send *cube* :translate (float-vector 400 0 800)) ;; NOTE 画像認識結果から，ハンガーの位置を取得して移動するとよいかもしれない

;; 立方体の左側面に座標系を設定
(send *cube* :put :left-coords
      (make-cascoords
       :coords (send (send *cube* :copy-worldcoords) :translate (float-vector 0 100 0))
       :parent *cube*))

;; ビューワを表示
(objects (list *pr2* *cube*))

;; 左腕について，立方体の両側面に向かって逆運動学を解く
(send *pr2* :larm :inverse-kinematics
      (send (send *cube* :get :left-coords) :copy-worldcoords)
      :rotation-axis :z)

;; PR2の左腕で立方体を持ち上げて前に突き出す
;; PR2の左腕と立方体の左側を連結する．
(send *pr2* :larm :end-coords :assoc *cube*)
;; 立方体が現在の位置から相対で(100, 0, 200)に移動するように逆運動学を解く
(send *pr2*
      :inverse-kinematics (send (send (send *cube* :get :left-coords) :copy-worldcoords)
                                      :translate (float-vector 100.0 0.0 100.0))
      :move-target (send *cube* :get :left-coords)
      :link-list (send *pr2* :link-list (send (send *pr2* :larm :end-coords) :parent))
      :rotation-axis t
      :debug-view t)

;; NOTE ここで (send *ri* :angle-vector (send *pr2* :angle-vector) 2000) などを入れれば，手渡し動作が実行される

;; NOTE 両腕で持って渡すみたいな動作は，結構難しい? ref: https://github.com/euslisp/jskeus/issues/582
;; :assocは閉リンクを形成できないので，1つの箱に両腕を連結することはできない?

何が行われているかを詳しく知りたければ，一行一行インタプリタで実行してみてもいいかもしれません．

ちなみにインタプリタの起動の仕方は

roseus ※履歴やカーソル移動が効かなくてしんどい
emacsのshellを使う．(emacsを起動 -> M(Altキー)-x shell -> source ~/<ワークスペースのパス>/devel/setup.bash -> roseus)
rlwrap roseus (履歴やカーソル移動が使えるようになる．rlwarp がないと言われたら sudo apt install rlwrap)

などがあります

Michi-Tsubaki · 2024-10-30T00:14:09Z

20241030

コード

ik(+一部angle-vecter)で縫い針を対象（はんぺんモデル）に入れて反対側から出るような動き ( https://github.com/Michi-Tsubaki/jsk_demos/blob/jsk_2024_10_semi/jsk_2024_10_semi/surgery_motion_1.l )　//メモ: ik o位置 x姿勢 how...

動画

縫合針で塗ってみた動画 : https://drive.google.com/file/d/1xbzlC91arwzrg9aBKzbQJ1TTQU6o3eEX/view?usp=drive_link
裁縫針ではんぺんを縫ってみた動画(先週) : https://drive.google.com/file/d/1mwssiASUhxAft1RAzLS5ev60f9vzz0wx/view?usp=drive_link

できたこと・やること

針の受け渡しまで，2針目を今週中に書く
スポンジ・ラバー・こんにゃく（食べれない）

mqcmd196 · 2024-10-30T03:24:00Z

@Michi-Tsubaki
素晴らしいので，PR作りました．See #1403 ．今のブランチでそのままpushしてもらって大丈夫です

何個か質問入れてくれいてる？みたいなので，Code Reviewという形で答えていきたいと思います．

mqcmd196 · 2024-10-30T04:20:24Z

@Kanazawanaoaki ? @k-okada

別件でそろそろ行かないといけないので，@Michi-Tsubaki の質問(https://github.com/jsk-ros-pkg/jsk_demos/pull/1403/files#diff-c1567d64decb032da52de496256f4d60fad7960511b45804bd82f0d7de63a8b0) に答えていただけると助かります (今手元に環境がないので，自分のコメントが正しいか怪しいです...)

mqcmd196 · 2024-10-30T04:27:17Z

あとFetch1075を使いたいときは

repositories:
  jsk-ros-pkg/jsk_robot:
    type: git
    url: [email protected]:jsk-ros-pkg/jsk_robot.git
    version: master
  moveit/moveit_msgs:
    type: git
    url: [email protected]:moveit/moveit_msgs.git
    version: f3e95603874670094fb8ca4225a6f4a0d56572c8
  ros/collada_urdf:
    type: git
    url: [email protected]:werner291/collada_urdf.git
    version: patch-1

を <ワークスペース>/src/repos.yaml に置いて，

cd src
source ../devel/setup.bash
vcs import < repos.yaml
rosdep install -iry --from-paths .
cd ..
catkin build

してもらえれば，fetcheusで動きます

sawada10 · 2024-10-30T08:32:24Z

https://github.com/jsk-ros-pkg/jsk_robot/tree/master/jsk_fetch_robot#common

ここにeusで実機を動かすための基本的なコードが載っています

k-okada · 2024-10-30T09:06:19Z

音声認識が動かないときの確認　rosnode info respeaker_node , rosnode info speech_to_text 　を確認。
respeaker_node はrespawn が掛かっているので、デバイスのUSBケーブルの抜き差しもしてみる。speech_to_textが動かないときは、pr1040sで

 /home/applications/ros/noetic/devel/.private/respeaker_ros/share/respeaker_ros/venv/bin/python /home/applications/ros/noetic/src/jsk-ros-pkg/jsk_3rdparty/respeaker_ros/scripts/speech_to_text.py speech_to_text:=speech_to_text_google audio:=speech_audio sound_play:=robotsound_jp __name:=speech_to_text

を実行。10/30 18:06現在 leo からターミナルを立ち上げて実行中。

Kanazawanaoaki · 2024-11-06T07:03:42Z

PR2の音量の変更方法 (pulseaudio)
PR2の体内にsshして

pactl set-sink-volume @DEFAULT_SINK@ 50%

で変更，

pactl list sinks | grep Volume

で確認できます．ゼミのときは80%くらいが良さそうです．
出力例

	Volume: front-left: 32768 /  50% / -18.06 dB,   front-right: 32768 /  50% / -18.06 dB
	Base Volume: 58409 /  89% / -3.00 dB

Kanazawanaoaki · 2024-11-06T07:59:38Z

今leo-pr1040のtmux a -t 0で接続できるターミナルで走らせている物体検出モデルのDetic_rosのboxの出力結果のラベルを対応させるサンプルプログラムです．
https://gist.github.com/Kanazawanaoaki/b75892fc4167dc97ba290bfdc966fe3a#file-detic_box_and_label_sync_sample-py

（EuclideanClusteringのcluster_filterのrosparamを1にする必要あり c.f. https://github.com/HiroIshida/detic_ros/blob/4afc32aa2fab3ed19ec05c56ab778e07d591ac4e/launch/sample_detection.launch#L66 ）

Rinno1478 · 2024-11-06T08:35:52Z

開発ブランチ
https://github.com/Rinno1478/jsk_demos/tree/conversation/jsk_2024_10_semi

geminiを用いたチャットボットのコード
https://github.com/Rinno1478/jsk_demos/blob/conversation/jsk_2024_10_semi/scripts/conversation.py

Michi-Tsubaki · 2024-11-06T08:49:50Z

しゃべる from lisp script

https://github.com/wkentaro/jsk_pr2eus/blob/fad0691e0131275b76568a68096c6c9f6eead13e/pr2eus/speak.l#L4

mqcmd196 · 2024-11-06T13:34:29Z

ゼミ遅くまでお疲れさまでした．

今日皆さんに使ってもらった認識器のモデルはDeticです (https://github.com/facebookresearch/Detic )

ROSのtopicとして出しているコード https://github.com/HiroIshida/detic_ros です．処理が重いので，研究室のGPUマシンで動かしています．

mqcmd196 · 2024-11-06T13:38:13Z

(自分用メモ https://github.com/HiroIshida/detic_ros/blob/master/node_script/wrapper.py#L139-L143 を直せばよさそう？)

ishry · 2024-11-13T08:37:24Z

detecの認識結果を取得するコードです

;; (setq *tfl* (instance ros::transform-listener :init)))))                                                                                                                     
;;検知したboxとラベルを対応させるクラス                                                                                                                                         
(defclass box-label-synchronizer
  :super exact-time-message-filter)

(defmethod box-label-synchronizer
  (:callback (box-msg label-msg)
    (print (list box-msg label-msg))
    (print (send-all (list box-msg label-msg) :header :stamp))
    (box-cb box-msg label-msg)
    ))

  ;;サブスクライブ                                                                                                                                                              
  (setq box-sync (instance box-label-synchronizer :init
                           (list (list "/docker/detic_segmentor/output/boxes" jsk_recognition_msgs::BoundingBoxArray)
                                 (list "/docker/detic_segmentor/detected_classes" jsk_recognition_msgs::LabelArray))))


;;コールバック関数                                                                                                                                                              
;;/docker/detic_segmentor/detected_classesというトピックにidの対応あり                                                                                                          
(defun box-cb (box-msg label-msg)
  (ros::ros-info "received ~A boxes, ~A labels" (length (send box-msg :boxes)) (length (send label-msg :labels)))
  (dolist (msg-conbined (map cons #'(lambda (x y) (list  x y)) (send box-msg :boxes) (send label-msg :labels)))
    (let (box label)
      ;;(print (list msg-conbined))                                                                                                                                             
      (setq box (car msg-conbined) label (cadr msg-conbined))
      ;;(print (list box label))                                                                                                                                                
      (print (send label :name))
      (when (or (string= (send label :name) "ball") (string= (send label :name) "toy"));; 41 -> ball, 1110 ->toy                                                                
        (setq *target-coords* (send (ros::tf-pose->coords (send box :pose)) :copy-worldcoords))
        ;; (setq tfc (send *tfl* :lookup-transform "base_link" "head_mount_kinect_rgb_optical_frame" (ros::time 0)))                                                            
        ;; (print *target-coords*)                                                                                                                                              
        ;; (when *tfl*                                                                                                                                                          
        ;;  (setq *target-coords* (send tfc :transform  *target-coords*))                                                                                                       
        ;; )                                                                                                                                                                    
        ;; (print *target-coords*)                                                                                                                                              
        (setq *target-dimensions* (send box :dimensions))
        (format t "coords ~A, dimension ~A~%" (send *target-coords* :worldcoords) (* (send *target-dimensions* :x) (send *target-dimensions* :y) (send *target-dimensions* :z))\
)
        (when (and (< (elt (send *target-coords* :worldpos) 2) 400)
                   (> (elt (send *target-coords* :worldpos) 2) -400))
          (send *target-box* :move-to *target-coords* :world)
          (print "update target position")
          )))))

Michi-Tsubaki · 2024-11-13T09:03:58Z

@ishry https://item.rakuten.co.jp/high-broad/10000105/?iasid=07rpp_10095___en-m3fmdgnr-4k-71ea414b-a28b-4695-b3f1-f8d858eafb79 くっつくやつ。

ishry · 2024-11-13T16:58:29Z

開発ブランチ

https://github.com/ishry/jsk_demos/tree/jsk_2024_10_semi/jsk_2024_10_semi

ushidakyotaro · 2024-11-14T03:54:05Z

11/13
https://github.com/ushidakyotaro/jsk_demos/tree/jsk_2024_10_semi/jsk_2024_10_semi

mqcmd196 · 2024-11-18T01:02:08Z

@ishry
せっかくなので，

のように Pull Requestを立ててみましょう．https://docs.github.com/ja/pull-requests/collaborating-with-pull-requests/proposing-changes-to-your-work-with-pull-requests/creating-a-pull-request-from-a-fork が参考になると思います．

Rinno1478 · 2024-11-27T10:09:36Z

@Michi-Tsubaki https://github.com/Rinno1478/jsk_demos/tree/conversation/jsk_2024_10_semi/detect_circle
ここのlaunch/detect.launchでhough変換とかのノードを立ち上げています。

Michi-Tsubaki · 2024-11-27T14:22:39Z

@ishry @ushidakyotaro どっちか 00092の充電器を忘れてると思うので，預かってて，明日渡します．
↑石川に返しました．（Nov 28)

p.s. 今日の成果(code/動画)は引き続き #1403 に

mqcmd196 suggested changes Oct 23, 2024

View reviewed changes

add initial jsk_2024_10_semi files

a6024b8

k-okada force-pushed the jsk_2024_10_semi branch from c8c8a17 to a6024b8 Compare October 23, 2024 06:54

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

2024年度ゼミ #1402

2024年度ゼミ #1402

k-okada commented Oct 16, 2024 •

edited

Loading

k-okada commented Oct 16, 2024 •

edited

Loading

k-okada commented Oct 16, 2024 •

edited

Loading

Michi-Tsubaki commented Oct 22, 2024 •

edited

Loading

mqcmd196 Oct 23, 2024

k-okada commented Oct 23, 2024 •

edited

Loading

Michi-Tsubaki commented Oct 23, 2024 •

edited

Loading

ushidakyotaro commented Oct 23, 2024 •

edited

Loading

mqcmd196 commented Oct 23, 2024

mqcmd196 commented Oct 23, 2024

Rinno1478 commented Oct 23, 2024

mqcmd196 commented Oct 23, 2024 •

edited

Loading

mqcmd196 commented Oct 28, 2024 •

edited

Loading

Michi-Tsubaki commented Oct 30, 2024 •

edited

Loading

mqcmd196 commented Oct 30, 2024 •

edited

Loading

mqcmd196 commented Oct 30, 2024

mqcmd196 commented Oct 30, 2024 •

edited

Loading

sawada10 commented Oct 30, 2024 •

edited

Loading

k-okada commented Oct 30, 2024

Kanazawanaoaki commented Nov 6, 2024 •

edited

Loading

Kanazawanaoaki commented Nov 6, 2024 •

edited

Loading

Rinno1478 commented Nov 6, 2024

Michi-Tsubaki commented Nov 6, 2024

mqcmd196 commented Nov 6, 2024

mqcmd196 commented Nov 6, 2024

ishry commented Nov 13, 2024 •

edited

Loading

Michi-Tsubaki commented Nov 13, 2024

ishry commented Nov 13, 2024

ushidakyotaro commented Nov 14, 2024

mqcmd196 commented Nov 18, 2024

Rinno1478 commented Nov 27, 2024

Michi-Tsubaki commented Nov 27, 2024 •

edited

Loading

		@@ -0,0 +1,11 @@
		cmake_minimum_required(VERSION 2.8.3)
		project(jsk_2019_10_semi)

2024年度ゼミ #1402

Are you sure you want to change the base?

2024年度ゼミ #1402

Conversation

k-okada commented Oct 16, 2024 • edited Loading

k-okada commented Oct 16, 2024 • edited Loading

k-okada commented Oct 16, 2024 • edited Loading

Michi-Tsubaki commented Oct 22, 2024 • edited Loading

mqcmd196 Oct 23, 2024

Choose a reason for hiding this comment

k-okada commented Oct 23, 2024 • edited Loading

Michi-Tsubaki commented Oct 23, 2024 • edited Loading

20241023

開発ブランチ

PR2のコード

手術ロボットUML

ushidakyotaro commented Oct 23, 2024 • edited Loading

mqcmd196 commented Oct 23, 2024

mqcmd196 commented Oct 23, 2024

Rinno1478 commented Oct 23, 2024

mqcmd196 commented Oct 23, 2024 • edited Loading

mqcmd196 commented Oct 28, 2024 • edited Loading

Michi-Tsubaki commented Oct 30, 2024 • edited Loading

20241030

コード

動画

できたこと・やること

mqcmd196 commented Oct 30, 2024 • edited Loading

mqcmd196 commented Oct 30, 2024

mqcmd196 commented Oct 30, 2024 • edited Loading

sawada10 commented Oct 30, 2024 • edited Loading

k-okada commented Oct 30, 2024

Kanazawanaoaki commented Nov 6, 2024 • edited Loading

Kanazawanaoaki commented Nov 6, 2024 • edited Loading

Rinno1478 commented Nov 6, 2024

Michi-Tsubaki commented Nov 6, 2024

mqcmd196 commented Nov 6, 2024

mqcmd196 commented Nov 6, 2024

ishry commented Nov 13, 2024 • edited Loading

Michi-Tsubaki commented Nov 13, 2024

ishry commented Nov 13, 2024

ushidakyotaro commented Nov 14, 2024

mqcmd196 commented Nov 18, 2024

Rinno1478 commented Nov 27, 2024

Michi-Tsubaki commented Nov 27, 2024 • edited Loading

k-okada commented Oct 16, 2024 •

edited

Loading

k-okada commented Oct 16, 2024 •

edited

Loading

k-okada commented Oct 16, 2024 •

edited

Loading

Michi-Tsubaki commented Oct 22, 2024 •

edited

Loading

k-okada commented Oct 23, 2024 •

edited

Loading

Michi-Tsubaki commented Oct 23, 2024 •

edited

Loading

ushidakyotaro commented Oct 23, 2024 •

edited

Loading

mqcmd196 commented Oct 23, 2024 •

edited

Loading

mqcmd196 commented Oct 28, 2024 •

edited

Loading

Michi-Tsubaki commented Oct 30, 2024 •

edited

Loading

mqcmd196 commented Oct 30, 2024 •

edited

Loading

mqcmd196 commented Oct 30, 2024 •

edited

Loading

sawada10 commented Oct 30, 2024 •

edited

Loading

Kanazawanaoaki commented Nov 6, 2024 •

edited

Loading

Kanazawanaoaki commented Nov 6, 2024 •

edited

Loading

ishry commented Nov 13, 2024 •

edited

Loading

Michi-Tsubaki commented Nov 27, 2024 •

edited

Loading