piwheels

tiktoken

tiktoken is a fast BPE tokeniser for use with OpenAI's models

Installation

In a virtualenv (see these instructions if you need to create one):

pip3 install tiktoken

Dependencies

• requests
• regex

Releases

Version	Released	Bullseye Python 3.9	Bookworm Python 3.11	Trixie Python 3.13	Files
0.11.0	2025-08-08
tiktoken-0.11.0-cp311-cp311-linux_armv6l.whl (1 MB) tiktoken-0.11.0-cp311-cp311-linux_armv7l.whl (1 MB) tiktoken-0.11.0-cp313-cp313-linux_armv6l.whl (1 MB) tiktoken-0.11.0-cp313-cp313-linux_armv7l.whl (1 MB) tiktoken-0.11.0-cp39-cp39-linux_armv6l.whl (1 MB) tiktoken-0.11.0-cp39-cp39-linux_armv7l.whl (1 MB)
0.10.0	2025-08-05
tiktoken-0.10.0-cp311-cp311-linux_armv6l.whl (1 MB) tiktoken-0.10.0-cp311-cp311-linux_armv7l.whl (1 MB) tiktoken-0.10.0-cp313-cp313-linux_armv6l.whl (1 MB) tiktoken-0.10.0-cp313-cp313-linux_armv7l.whl (1 MB) tiktoken-0.10.0-cp39-cp39-linux_armv6l.whl (1 MB) tiktoken-0.10.0-cp39-cp39-linux_armv7l.whl (1 MB)
0.9.0	2025-02-14
tiktoken-0.9.0-cp311-cp311-linux_armv6l.whl (1 MB) tiktoken-0.9.0-cp311-cp311-linux_armv7l.whl (1 MB) tiktoken-0.9.0-cp39-cp39-linux_armv6l.whl (1 MB) tiktoken-0.9.0-cp39-cp39-linux_armv7l.whl (1 MB) tiktoken-0.9.0-cp313-cp313-linux_armv6l.whl (1 MB) tiktoken-0.9.0-cp313-cp313-linux_armv7l.whl (1 MB)
0.8.0	2024-10-03
tiktoken-0.8.0-cp311-cp311-linux_armv6l.whl (1 MB) tiktoken-0.8.0-cp311-cp311-linux_armv7l.whl (1 MB) tiktoken-0.8.0-cp39-cp39-linux_armv6l.whl (1 MB) tiktoken-0.8.0-cp39-cp39-linux_armv7l.whl (1 MB) tiktoken-0.8.0-cp313-cp313-linux_armv6l.whl (1 MB) tiktoken-0.8.0-cp313-cp313-linux_armv7l.whl (1 MB)
0.7.0	2024-05-13
tiktoken-0.7.0-cp311-cp311-linux_armv6l.whl (989 KB) tiktoken-0.7.0-cp311-cp311-linux_armv7l.whl (989 KB) tiktoken-0.7.0-cp39-cp39-linux_armv6l.whl (990 KB) tiktoken-0.7.0-cp39-cp39-linux_armv7l.whl (990 KB)
0.6.0	2024-02-09
tiktoken-0.6.0-cp311-cp311-linux_armv6l.whl (2 MB) tiktoken-0.6.0-cp311-cp311-linux_armv7l.whl (2 MB) tiktoken-0.6.0-cp39-cp39-linux_armv6l.whl (2 MB) tiktoken-0.6.0-cp39-cp39-linux_armv7l.whl (2 MB)
0.5.2	2023-12-03
tiktoken-0.5.2-cp311-cp311-linux_armv6l.whl (2 MB) tiktoken-0.5.2-cp311-cp311-linux_armv7l.whl (2 MB) tiktoken-0.5.2-cp39-cp39-linux_armv6l.whl (2 MB) tiktoken-0.5.2-cp39-cp39-linux_armv7l.whl (2 MB)
0.5.1	2023-09-13
tiktoken-0.5.1-cp311-cp311-linux_armv6l.whl (2 MB) tiktoken-0.5.1-cp311-cp311-linux_armv7l.whl (2 MB) tiktoken-0.5.1-cp39-cp39-linux_armv6l.whl (2 MB) tiktoken-0.5.1-cp39-cp39-linux_armv7l.whl (2 MB) tiktoken-0.5.1-cp313-cp313-linux_armv6l.whl (979 KB) tiktoken-0.5.1-cp313-cp313-linux_armv7l.whl (979 KB)
0.5.0	2023-09-12
tiktoken-0.5.0-cp311-cp311-linux_armv6l.whl (2 MB) tiktoken-0.5.0-cp311-cp311-linux_armv7l.whl (2 MB) tiktoken-0.5.0-cp39-cp39-linux_armv6l.whl (2 MB) tiktoken-0.5.0-cp39-cp39-linux_armv7l.whl (2 MB) tiktoken-0.5.0-cp313-cp313-linux_armv6l.whl (979 KB) tiktoken-0.5.0-cp313-cp313-linux_armv7l.whl (979 KB)
0.4.0	2023-05-07
tiktoken-0.4.0-cp311-cp311-linux_armv6l.whl (975 KB) tiktoken-0.4.0-cp311-cp311-linux_armv7l.whl (975 KB) tiktoken-0.4.0-cp313-cp313-linux_armv6l.whl (968 KB) tiktoken-0.4.0-cp313-cp313-linux_armv7l.whl (968 KB)
0.3.3	2023-03-28
tiktoken-0.3.3-cp39-cp39-linux_armv6l.whl (1 MB) tiktoken-0.3.3-cp39-cp39-linux_armv7l.whl (1 MB) tiktoken-0.3.3-cp311-cp311-linux_armv6l.whl (2 MB) tiktoken-0.3.3-cp311-cp311-linux_armv7l.whl (2 MB) tiktoken-0.3.3-cp313-cp313-linux_armv6l.whl (968 KB) tiktoken-0.3.3-cp313-cp313-linux_armv7l.whl (968 KB)
0.3.2	2023-03-17
tiktoken-0.3.2-cp39-cp39-linux_armv6l.whl (1 MB) tiktoken-0.3.2-cp39-cp39-linux_armv7l.whl (1 MB) tiktoken-0.3.2-cp313-cp313-linux_armv6l.whl (967 KB) tiktoken-0.3.2-cp313-cp313-linux_armv7l.whl (967 KB)
0.3.1	2023-03-13
tiktoken-0.3.1-cp39-cp39-linux_armv6l.whl (1 MB) tiktoken-0.3.1-cp39-cp39-linux_armv7l.whl (1 MB) tiktoken-0.3.1-cp311-cp311-linux_armv6l.whl (2 MB) tiktoken-0.3.1-cp311-cp311-linux_armv7l.whl (2 MB) tiktoken-0.3.1-cp313-cp313-linux_armv6l.whl (967 KB) tiktoken-0.3.1-cp313-cp313-linux_armv7l.whl (967 KB)
0.3.0	2023-03-02
tiktoken-0.3.0-cp39-cp39-linux_armv6l.whl (1 MB) tiktoken-0.3.0-cp39-cp39-linux_armv7l.whl (1 MB) tiktoken-0.3.0-cp311-cp311-linux_armv6l.whl (2 MB) tiktoken-0.3.0-cp311-cp311-linux_armv7l.whl (2 MB) tiktoken-0.3.0-cp313-cp313-linux_armv6l.whl (967 KB) tiktoken-0.3.0-cp313-cp313-linux_armv7l.whl (967 KB)
0.2.0	2023-02-03
tiktoken-0.2.0-cp311-cp311-linux_armv6l.whl (970 KB) tiktoken-0.2.0-cp311-cp311-linux_armv7l.whl (970 KB) tiktoken-0.2.0-cp313-cp313-linux_armv6l.whl (964 KB) tiktoken-0.2.0-cp313-cp313-linux_armv7l.whl (964 KB)
0.1.2	2023-01-03
tiktoken-0.1.2-cp311-cp311-linux_armv6l.whl (971 KB) tiktoken-0.1.2-cp311-cp311-linux_armv7l.whl (971 KB) tiktoken-0.1.2-cp313-cp313-linux_armv6l.whl (963 KB) tiktoken-0.1.2-cp313-cp313-linux_armv7l.whl (963 KB)
0.1.1	2022-12-15
tiktoken-0.1.1-cp313-cp313-linux_armv6l.whl (963 KB) tiktoken-0.1.1-cp313-cp313-linux_armv7l.whl (963 KB)

Issues with this package?

• Search issues for this package
• Package or version missing? Open a new issue
• Something else? Open a new issue