Faster MoE kernels

[EricLBuehler]

No description provided.

[github-actions]

Code Metrics Report

===============================================================================
 Language            Files        Lines         Code     Comments       Blanks
===============================================================================
 C Header                3           63           54            0            9
 CSS                     1          473          408           14           51
 Dockerfile              1           42           22           10           10
 HTML                    1           78           64            5            9
 JavaScript              7         1397         1068          180          149
 JSON                   22          410          407            0            3
 Makefile                1            6            5            0            1
 Python                 99         5477         4496          280          701
 Shell                   1           63           26           18           19
 Plain Text              3         3723            0         2413         1310
 TOML                   23          865          796           11           58
 YAML                    2           21           19            2            0
-------------------------------------------------------------------------------
 Jupyter Notebooks       3            0            0            0            0
 |- Markdown             2           77           32           31           14
 |- Python               2          205          178            1           26
 (Total)                            282          210           32           40
-------------------------------------------------------------------------------
 Markdown               74         7006            0         5253         1753
 |- BASH                19          278          241           23           14
 |- JSON                11          523          523            0            0
 |- Python              14          502          420           33           49
 |- Rust                32         1320         1108           36          176
 |- TOML                 2           75           63            0           12
 (Total)                           9704         2355         5345         2004
-------------------------------------------------------------------------------
 Rust                  410       152295       134741         3826        13728
 |- Markdown           196         4256          285         3415          556
 (Total)                         156551       135026         7241        14284
===============================================================================
 Total                 651       171919       142106        12012        17801
===============================================================================