صفحهٔ اصلی گشت‌و‌گذار راهنما
ورود
ichrin
/
openllama-chinese-english-3b
mirrorاز https://huggingface.co/FittenTech/openllama-chinese-english-3b
دنبال کردن 1
ستاره دار 0
انشعاب 0
پرونده‌ها مشکلات 0 ویکی
شاخه: main
شاخه‌ها تگ‌ها
openllama-ch...
/
tokenizer_config.json

tokenizer_config.json 727 B
لینک دائمی تاريخچه خام

1234567891011121314151617181920212223242526272829303132333435 
  1. {
    2. 

  2.   "add_bos_token": true,
    3. 

  3.   "add_eos_token": false,
    4. 

  4.   "bos_token": {
    5. 

  5.     "__type": "AddedToken",
    6. 

  6.     "content": "<s>",
    7. 

  7.     "lstrip": false,
    8. 

  8.     "normalized": true,
    9. 

  9.     "rstrip": false,
    10. 

  10.     "single_word": false
    11. 

  11.   },
    12. 

  12.   "clean_up_tokenization_spaces": false,
    13. 

  13.   "eos_token": {
    14. 

  14.     "__type": "AddedToken",
    15. 

  15.     "content": "</s>",
    16. 

  16.     "lstrip": false,
    17. 

  17.     "normalized": true,
    18. 

  18.     "rstrip": false,
    19. 

  19.     "single_word": false
    20. 

  20.   },
    21. 

  21.   "model_max_length": 1024,
    22. 

  22.   "pad_token": null,
    23. 

  23.   "padding_side": "right",
    24. 

  24.   "sp_model_kwargs": {},
    25. 

  25.   "tokenizer_class": "LlamaTokenizer",
    26. 

  26.   "unk_token": {
    27. 

  27.     "__type": "AddedToken",
    28. 

  28.     "content": "<unk>",
    29. 

  29.     "lstrip": false,
    30. 

  30.     "normalized": true,
    31. 

  31.     "rstrip": false,
    32. 

  32.     "single_word": false
    33. 

  33.   }
    34. 

  34. }
    35. 

  35.