2025年1月21日 · 因为 Transformer不采用RNN结构，而是使用全局信息，不能利用单词的顺序信息，而这部分信息对于NLP来说非常重要。所以Transformer中使用位置Embedding保存单词在序列中的相对或绝对位置。 位置Embedding用 表示， 的维度与单词Embedding相同。

但Transformer是并行地处理句子中的单词的，缺少单词的位置信息表征。 为了有效地表征单词的位置信息，Transformer设计了位置编码 PositionalEncoding，并添加到模型的输入中。 于是，Transformer 用单词嵌入(权重要学习)向量 和位置编码(直接编码)向量 之和 来表示输入。

如果说「从浅入深」理解 Transformer，逐渐要到深的那部分，答案肯定短不了，希望你有耐心看完。我认为分三步： 第一步，了解 Transformer 出现之前的几个主流语言模型，包括 N 元文法（n-gram）、多层感知器（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）。

2025年2月3日 · I want to use one centre tap 12 - 0 -12 transformer to power amp (lm1875 stereo) and a small pre amp board but I also need a 5v dc supply. what is best configuration for this. Thanks

Transformer 与 RNN 不同，可以比较好地并行训练。 Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。 Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。

2025年3月4日 · The BLOCK TIM 100 is sold by RS Components as an isolating transformer. RS Components is a reliable supplier of quality electronic equipment (and other stuff). So I guess that the Block Tim 100 does exactly what it says on the tin. JimB

Transformer：依然主导大参数模型和通用任务（如 GPT-5、Claude 3）。 SSM 类模型 ：在长序列处理、边缘计算中逐步替代 Transformer。 专用架构 ：针对特定任务优化（如 DNA 序列分析的卷积-注意力混合网络）。

transformer 是我这个大目标的第一步，踩了许多的坑。 从一开始的直接手写，到最后的先使用 pytorch 官方 transformer 库实现功能，再替换核心代码；从一开始计划的自己准备数据，训练一个古文和现代文的翻译器，到最后使用公开的数据集训练了一个英文和德文的 ...

其实是支持单卡3090，只要24G显存就行（当然A卡还不行）。 不过这里的全量671B是4bit量化版，不知道实际效果能达到deepseek官方的多少。

2025年2月9日 · L1, L2 is a transformer. C1 is the 6pF load. Teh 330uH is the primary and the 33mH is the secondary stacked on top. CoilCraft Here is a link to a transformer that is 202uH on the primary. The 5 secondaries need to be wired in series to get a 5:1 boost.