Skip to content

Commit

Permalink
t
Browse files Browse the repository at this point in the history
  • Loading branch information
antkillerfarm committed Nov 1, 2023
1 parent 1a83867 commit fad9223
Show file tree
Hide file tree
Showing 19 changed files with 390 additions and 304 deletions.
4 changes: 4 additions & 0 deletions _posts/2017-12-22-Deep_Learning_25.markdown
Original file line number Diff line number Diff line change
Expand Up @@ -310,3 +310,7 @@ https://www.zhihu.com/question/51314401
https://zhuanlan.zhihu.com/p/319465610

什么是浮世绘

https://zhuanlan.zhihu.com/p/56840930

医生们终于都滚了(秋田县上小阿仁村)
4 changes: 4 additions & 0 deletions _posts/2018-12-17-essay_16.markdown
Original file line number Diff line number Diff line change
Expand Up @@ -183,6 +183,10 @@ http://education.news.cn/2022-01/18/c_1211533359.htm

冰心自己一路从福州女子师范学校读到北京的教会学校(美国办校),再到协和女子大学理预科(美国办校,后并入燕京大学),本科毕业之后又到美国威尔斯利女子学院的奖学金,去美国读文学硕士(美国最好的女子学校,和宋美龄、希拉里是校友)。

https://mp.weixin.qq.com/s/oLZYABBHyLjFwC-Cl7WWkA

林徽因被追授建筑学学位:迟到100年,偏见与正名

---

兹有XX公司员工XXX,现依据《劳动合同法》第三十七的规定,提前三十日书面通知公司,本人于20XX年X月XX日解除劳动合同。请及时安排人员进行工作交接,本人会做好工作移交事项,请单位按《劳动合同法》第五十条的规定于本人离职当日办理离职证明并且在十五日内办理档案和社保关系转移手续。
Expand Down
6 changes: 6 additions & 0 deletions _posts/2018-9-24-bigdata_resource_2.markdown
Original file line number Diff line number Diff line change
Expand Up @@ -357,6 +357,12 @@ https://mp.weixin.qq.com/s/fCoQv6zMQw_8eOwANS16OQ

凭心而论,这部电影拍的很不错,带英的大缺大德那是一以贯之的。但是你确定应该在日军铁蹄践踏大半个中国的背景下,和起码名义上是盟军的英国人打起来么?

孤岛时期上海拍摄了《木兰从军记》,反响很好。结果这个片子引进到重庆上映后引发暴动,群众把胶片都扯出来烧掉了。

片子本身没问题,讲的是抵抗异族侵略者,但电影中有一句歌词“太阳出来满天下”,被重庆老百姓认为是吹捧日本天下布武,又传说本片导演接受了伪职(并没有),所以酿成了这一风波。后来片方把歌词替换成“青天白日满天下”这才过关。

不过《木兰从军记》的女主演陈云裳后来给日本军舰献花,本来约定不可公开,但日本方面立即公开了,坐实了陈云裳的汉奸罪名。

---

东亚竞技大会,又称大东亚共荣圈运动会。是1940年代由日本主导的东亚地区性运动会。
18 changes: 14 additions & 4 deletions _posts/2019-6-25-AI_chip_2.markdown
Original file line number Diff line number Diff line change
Expand Up @@ -15,9 +15,9 @@ category: Chip

TPU v1, deployed 2015, 92 teraops, **inference only**.

TPU v2, cloud TPU 2017, pod 2018, 180 teraflops, 64 GB HBM, **training and inference**, generally available. 11.5 petaflops in a pod.
TPU v2, cloud TPU 2017, pod 2018, 180 teraflops, 64 GB HBM, **training and inference**, generally available. 11.5 petaflops in a **pod**.

TPU v3, cloud beta 2018, 420 teraflops, 128 GB HBM, training and inference, beta. >100 petaflops in a **pod**.
TPU v3, cloud beta 2018, 420 teraflops, 128 GB HBM, training and inference, beta. >100 petaflops in a pod.

论文:

Expand All @@ -39,15 +39,25 @@ TPUv2的改进:

- 将矩阵乘法单元直接与向量存储区连接,如此一来,矩阵乘法单元就成为向量单元的协处理器。这种结构对编译器和编程人员而言更友好。

- TPU v1使用DDR3内存,因为它针对的是推理,只需使用已有的权重,不需要生成权重。针对训练的TPU v2则不一样,训练时既要读取权重,也要写入权重,所以在v2中,我们将原本的DDR3改为与向量存储区相连,这样就既能向其读取数据,又能向其写入数据。
- TPU v1使用DDR3内存,因为它针对的是推理,只需使用已有的权重,不需要生成权重。针对训练的TPU v2则不一样,训练时既要读取权重,也要写入权重,所以在v2中,原本的DDR3改为与向量存储区相连,这样就既能向其读取数据,又能向其写入数据。

- 将DDR3改为HBM。因为从DDR3读取参数速度太慢,影响性能,而HBM的读写速度快20倍。

- 在HBM和向量存储区之间增加互连(Interconnect),用于TPU之间的连接,组成我们之前提到的Pod超级计算机
- 在HBM和向量存储区之间增加互连(Interconnect),用于TPU之间的连接,组成Pod超级计算机

TPUv3在体系结构方面改进不大,主要是堆料:加计算单元,加内存,加主频等等。

---

TPUv4是TPU系列时隔4年之后的大升级。它的改进主要是:

- TPU核心间的网络拓扑由2D Tours改为3D Tours。

- 加入Sparse Core专门处理Transformer模型中的Embedding操作。

- 引入Optical Circuit Switching,OCS。光互连是物理距离较远的芯片的首选。隔壁的PCIE系列也类似,PCIE 6将是最后一代使用电线的标准,未来的PCIE 7+也将转向光通信。

---

https://www.zhihu.com/answer/2716117809

Expand Down
4 changes: 4 additions & 0 deletions _posts/2019-7-6-AI_game.markdown
Original file line number Diff line number Diff line change
Expand Up @@ -326,3 +326,7 @@ https://zhuanlan.zhihu.com/p/557933130
https://zhuanlan.zhihu.com/p/503371595

AI芯片(下),自动驾驶里的“水浒卡”

https://mp.weixin.qq.com/s/Vt23nK5zC7Wwv7iiFAFvrQ

高通,玩转DSP和NPU
56 changes: 25 additions & 31 deletions _posts/2020-1-26-astronomy_2.markdown
Original file line number Diff line number Diff line change
Expand Up @@ -33,7 +33,7 @@ category: Nature

---

此后,人们又发现这两颗 “子星”其实各自都是双星,不过这种双星靠得很近,用望远镜也看不出来,只能从光谱特征上判断出是两颗星,因此叫“分光双星”。离这四颗星稍远的地方,还有一颗暗的“伴星”(Castor C),它本身也是两颗星在围绕质心转动时会相互掩映的系统,称作“食双星”。
此后,人们又发现这两颗“子星”其实各自都是双星,不过这种双星靠得很近,用望远镜也看不出来,只能从光谱特征上判断出是两颗星,因此叫“分光双星”。离这四颗星稍远的地方,还有一颗暗的“伴星”(Castor C),它本身也是两颗星在围绕质心转动时会相互掩映的系统,称作“食双星”。

还有更变态的七星系统——键闭(天蝎座 ν)。

Expand Down Expand Up @@ -181,6 +181,30 @@ https://zhuanlan.zhihu.com/p/594394805

争议不断的《三体》动画,外国观众怎么看

---

在太空动力学,霍曼转移轨道(或译为郝曼转移轨道,Hohmann transfer orbit)是一种变换太空船轨道的方法,途中只需两次引擎推进,相对地节省燃料。此种轨道操纵名称来自Walter Hohmann,他于1925年出版了相关著作。

>Walter Hohmann,1880~1945,德国工程师,亚琛工业大学博士。轨道动力学(orbital dynamics)之父。
![](/images/img2/Hohmann.gif)

---

![](/images/img2/Solar_dv.png)

颜刘贞婉(Chen-Wan L. Yan),美国华裔,来自中国台湾。她就读于著名的女子学校“台北州立第一高等女学校,本科是台大物理系。大学毕业后在麻省理工大学攻读物理学博士。颜刘毕业后进入NASA喷气推进实验室(JPL)担任轨道动力学专家。

颜刘通过建立数学模型得出结论,有一种方法不需要携带那么多的能源也能抵达水星,但代价是要花费七年的时间,飞行79亿公里,绕太阳公转15次。

具体操作是:NASA探测器从地球出发后,先绕地球公转轨道一周,追上地球后再次借助地球的引力弹弓前往金星。掠过金星后第一次借助引力弹弓,绕金星轨道一周后,第二次借助金星引力弹弓到水星。然后在水星轨道上掠过水星四次,第四次就能被水星俘获了。

本质上就是利用地球和金星的引力,和它俩的大气层摩擦给探测器减速刹车。

https://www.zhihu.com/question/452059445

为什么水星是最难去的行星?

# 黑洞

## 黑洞照片
Expand Down Expand Up @@ -212,33 +236,3 @@ https://mp.weixin.qq.com/s/GTHiZZ0ox8GsYKseYfDiRw
https://mp.weixin.qq.com/s/zNs4NikZ912R3V1ZT2DcTg

黑洞---像极了爱情!

## EHT

![](/images/img2/Event_horizon_telescope_logo_2019.png)

如它的logo所示,Event Horizon Telescope是一个多地联合的天文观测组织。和它类似的组织还有(The Global mm-VLBI Array, GMVA)。两个阵营的差别在于GMVA观测波长为3毫米,而EHT在1.3毫米。

![](/images/img2/The_Event_Horizon_Telescope_and_Global_mm-VLBI_Array_on_the_Earth.jpg)

EHT(蓝绿线)与GMVA(黄线)之望远镜阵列分布。其中ALMA和IRAM同时属于两个阵营。

## ALMA

Atacama Large Millimeter/submillimeter Array是EHT计划的主力天文台。由欧洲南方天文台(European Southern Observatory, ESO)和美国国家射电天文台(National Radio Astronomy Observatory, NRAO)共同负责。

1962年10月5日,德国、法国、比利时、荷兰、瑞典五国在巴黎签署了一份协议,决定共同在南半球建立天文台,并命名为欧洲南方天文台。1960年代中期,ESO考察了智利北部的阿塔卡玛沙漠,最终选定这里作为台址。这里是地球上气候最干燥的地区之一,海拔高,非常适合毫米波天文观测。

![](/images/img2/ALMA.jpg)

66座ALMA天线可用不同的配置法排成阵列,天线间的距离变化多样,最短可以是150米,最长可以到16公里。

图中貌似还乱入了红警的基地车。没错,所有的天线都是可移动的。

![](/images/img2/ALMA_2.jpg)

这是基地车的正面图。

https://mp.weixin.qq.com/s/NIMcgoXzTeAAumODJfEH_A

在地球上,哪里能看到最澄澈的星空?(冰穹A)
30 changes: 14 additions & 16 deletions _posts/2020-12-23-attention_7.markdown
Original file line number Diff line number Diff line change
Expand Up @@ -125,6 +125,20 @@ https://www.zhihu.com/question/589941496

百度正式推出“文心一言”,然而港股股价已暴跌近10%,客观来说其能力与ChatGPT相较如何?

## Chinchilla Law

DeepMind研究了在给定算力预算下训练Transformer语言模型的最佳模型大小和tokens数量。

应该使用1,400B (1.4T) tokens来训练参数量大小为70B的LLM最佳。即:每个参数需要大约20个文本token。

https://zhuanlan.zhihu.com/p/627821763

训练LLM需要多少数据?

https://www.zhihu.com/question/628395521

如何看待微软论文声称ChatGPT是20B(200亿)参数量的模型?

# Large Language Model

![](/images/img5/huge_model.jpg)
Expand Down Expand Up @@ -194,19 +208,3 @@ LLM全景图(The Landscape of LLM)
https://www.zhihu.com/question/604592470

前两个月国产类ChatGPT大模型如雨后春笋,为何最近都没声音了?

https://mp.weixin.qq.com/s/oqhi58NcEVH1oVrW2p4xlQ

大模型参数高效微调技术原理综述(一)-背景、参数高效微调简介

https://mp.weixin.qq.com/s/fUAUr9X3XLndfjga2QIHbA

大模型参数高效微调技术原理综述(二)-BitFit、Prefix Tuning、Prompt Tuning

https://mp.weixin.qq.com/s/f4l04f78F507JRrCawnV8w

大模型参数高效微调技术原理综述(三)-P-Tuning、P-Tuning v2

https://mp.weixin.qq.com/s/nUAcCz6mcgGuUeuTfgqmOQ

大模型参数高效微调技术原理综述(四)-Adapter Tuning及其变体
16 changes: 16 additions & 0 deletions _posts/2020-4-26-biology_5.markdown
Original file line number Diff line number Diff line change
Expand Up @@ -117,6 +117,22 @@ https://view.inews.qq.com/wxn/20220324A0BAWH00

# 天文杂谈+

https://mp.weixin.qq.com/s/xo9aRt5rAX7bWeK4jwmkXA

月球能承载多少人类生存?

https://mp.weixin.qq.com/s/1L10R2c7wCTYFYcxPKiRtA

彗星怎么拖了个长长的尾巴?

https://mp.weixin.qq.com/s/yCmwX5srpmhYrbAkFbC-gQ

20年,241人,5400000000000米(国际空间站)

https://mp.weixin.qq.com/s/Qld7bVs9ASJ23vAhE0h7_w

日月星辰如何指引着中国人前行?(中国古代天文学)

https://cooltowel.github.io/2018/04/16/%E5%9B%BD%E9%99%85%E5%A4%A9%E7%90%83%E5%8F%82%E8%80%83%E7%B3%BB%E7%BB%9F%E2%80%94%E2%80%94ICRS%20%E7%AE%80%E4%BB%8B/

国际天球参考系统——ICRS简介
Expand Down
70 changes: 30 additions & 40 deletions _posts/2020-5-9-astronomy_3.markdown
Original file line number Diff line number Diff line change
Expand Up @@ -9,6 +9,36 @@ category: Nature

# 黑洞

## EHT

![](/images/img2/Event_horizon_telescope_logo_2019.png)

如它的logo所示,Event Horizon Telescope是一个多地联合的天文观测组织。和它类似的组织还有(The Global mm-VLBI Array, GMVA)。两个阵营的差别在于GMVA观测波长为3毫米,而EHT在1.3毫米。

![](/images/img2/The_Event_Horizon_Telescope_and_Global_mm-VLBI_Array_on_the_Earth.jpg)

EHT(蓝绿线)与GMVA(黄线)之望远镜阵列分布。其中ALMA和IRAM同时属于两个阵营。

## ALMA

Atacama Large Millimeter/submillimeter Array是EHT计划的主力天文台。由欧洲南方天文台(European Southern Observatory, ESO)和美国国家射电天文台(National Radio Astronomy Observatory, NRAO)共同负责。

1962年10月5日,德国、法国、比利时、荷兰、瑞典五国在巴黎签署了一份协议,决定共同在南半球建立天文台,并命名为欧洲南方天文台。1960年代中期,ESO考察了智利北部的阿塔卡玛沙漠,最终选定这里作为台址。这里是地球上气候最干燥的地区之一,海拔高,非常适合毫米波天文观测。

![](/images/img2/ALMA.jpg)

66座ALMA天线可用不同的配置法排成阵列,天线间的距离变化多样,最短可以是150米,最长可以到16公里。

图中貌似还乱入了红警的基地车。没错,所有的天线都是可移动的。

![](/images/img2/ALMA_2.jpg)

这是基地车的正面图。

https://mp.weixin.qq.com/s/NIMcgoXzTeAAumODJfEH_A

在地球上,哪里能看到最澄澈的星空?(冰穹A)

## Katie Bouman

![](/images/img2/Katie_Bouman.jpg)
Expand Down Expand Up @@ -300,43 +330,3 @@ https://www.zhihu.com/question/315485320
https://zhuanlan.zhihu.com/p/63783327

从“梅林”到“猛禽”:“液氧甲烷”+“全流量分级循环”,星际火箭发动机的中级选择?(上)

https://zhuanlan.zhihu.com/p/64002399

从“梅林”到“猛禽”:“液氧甲烷”+“全流量分级循环”,星级火箭发动机的终级选择?(下)

https://www.zhihu.com/question/391756708

SpaceX的可回收火箭有什么神奇之处,为何其他航天大国还不能仿造?

https://www.zhihu.com/question/597238433

为什么这么多年直到马斯克出来才想到做可复用火箭?

https://zhuanlan.zhihu.com/p/348707512

运载火箭的性能参数(科普)

---

齐奥尔科夫斯基火箭方程:

$$\Delta V=v_e\ln \frac{m_0}{m_1}$$

其中,$$\Delta V$$是速度增量,$$v_e$$是喷气速度,$$m_0,m_1$$分别是初始质量和终末质量。

---

![](/images/img4/cost.jpg)

星舰发射费用仅为200万美元。运力类似的波音SLS火箭每次发射费用为40亿美元,足足相差了2000倍。

https://www.zhihu.com/question/471620540

马斯克称猎鹰9号回收和翻新过程仅占成本的10%,参考维护成本高昂的航天飞机,此话可信度如何?

---

小布什签署的美国航天发展规划,直接规定了要求NASA退出近地空间,要求他们重新带领美国航天天顶科技。与此同时,美国的商业航天开始全面崛起,后来大名鼎鼎的space-x,bigelow,blue origin大都从此时起步。

奥巴马任期内美国商业航天的崛起就不必说了,经过全面扶植,space-x迅速成长为可以对抗任何一个国家发射市场的公司,在2018年甚至有能力挑战美国之外所有国家的总和。而NASA的焦点则全面转向深空,各种大型空间望远镜、昂贵的火星探测、木星土星探测,都达到人类历史上的巅峰。
2 changes: 0 additions & 2 deletions _posts/2020-7-24-cpu_2.markdown
Original file line number Diff line number Diff line change
Expand Up @@ -181,8 +181,6 @@ https://mp.weixin.qq.com/s/MXuN1ccza508TMkcYVadvA

片上网络network-on-chip(NoC)是片上系统 system-on-chip(SoC)的一种新的通信方法。它是多核技术的主要组成部分。NoC方法带来了一种全新的片上通信方法,显著优于传统总线式系统(bus)的性能。

Crossbar(XBAR)

https://zhuanlan.zhihu.com/p/63683111

详说片上网络之一:片上多核系统与片上网络的发展
Expand Down
Loading

0 comments on commit fad9223

Please sign in to comment.