10 REM > BLib.Tokenise 1.03 20-Nov-2010
   20 REM v1.01 08-Feb-2009 JGH: Tweeked for ARM BASIC 1.3x
   30 REM v1.02 28-Feb-2009 JGH: Added DOS, PDP, 32000
   40 REM v1.03 20-Nov-2010 JGH: Tweeked for 6502 BASIC IV
   50 :
   60 REM Tokenise BASIC lines
   70 REM ====================
   80 REM Generalised cross-platform library
   90 :
  100 REM Authors:
  110 REM  Richard Russell for BBFW code
  120 REM  J.G.Harston for ARM, DOS, PDP, 6502, Z80 code
  130 :
  140 REM FNTokenise_()
  150 REM -------------
  160 REM Tokenise a line of text
  170 REM Returns: tokenised string
  180 REM -------------------------
  190 :
  200 DEFFNTokenise_(A$):=FNTokenise_65(A$)
  210 DEFFNTokenise_(A$):=FNTokenise_Z80(A$)
  220 DEFFNTokenise_(A$):=FNTokenise_32(A$)
  230 DEFFNTokenise_(A$):=FNTokenise_PDP(A$)
  240 DEFFNTokenise_(A$):=FNTokenise_ARM(A$)
  250 DEFFNTokenise_(A$):=FNTokenise_DOS(A$)
  260 DEFFNTokenise_(A$):=FNTokenise_Win(A$)
  270 REM Should select appropriate subfunction
  280 :
  290 :
  300 DEFFNTokenise_65(A$):LOCAL A%,B%
  310 A%=(!4AND&FFFF)-LENA$-1:B%=EVAL("0:"+A$):=$A%
  320 :
  330 DEFFNTokenise_Z80(A$):LOCAL A%,P%:Tokenise_Z80%=Tokenise_Z80%
  340 IF Tokenise_Z80%=0:DIM A% 4:!A%=&D9E1E5DD:A%?4=&C9:Tokenise_Z80%=USRA%
  350 A%=EVAL("0:"+A$):=$(Tokenise_Z80%-254)
  360 :
  370 DEFFNTokenise_32(A$):LOCAL A%
  380 A%=EVAL("0:"+A$):=$(!&1B2+2)
  390 :
  400 DEFFNTokenise_PDP(A$):LOCAL A%
  410 A%=EVAL("0:"+A$):=$(^@%-254)
  420 :
  430 DEFFNTokenise_ARM(A$):LOCAL A%,B%
  440 SYS "XOS_GenerateError",0,STRING$(255,"*"TO ,A%
  450 A%!-36=0:B%=EVAL("0:"+A$):=$(A%-14+4*(A%!-36<>0))
  460 :
  470 DEFFNTokenise_DOS(A$):LOCAL A%
  480 A%=EVAL("0:"+A$):=$&102
  490 :
  500 DEFFNTokenise_Win(A$):LOCAL A%,B%
  510 WHILELEFT$(A$,1)=" ":A$=MID$(A$,2):ENDWHILE
  520 B%=EVAL("0:"+A$):=$(!332+2)
  530 :