Remove unused files
parent
0aa422cb3e
commit
2e24deef12
|
|
@ -1,12 +0,0 @@
|
||||||
## Deployment
|
|
||||||
|
|
||||||
1. Start service
|
|
||||||
```bash
|
|
||||||
docker-compose up
|
|
||||||
```
|
|
||||||
2. Test API endpoint with curl
|
|
||||||
```bash
|
|
||||||
curl -X POST http://localhost:5000/v1/completions -H 'Content-Type: application/json' --data '{
|
|
||||||
"prompt": "def binarySearch(arr, left, right, x):\n mid = (left +"
|
|
||||||
}'
|
|
||||||
```
|
|
||||||
|
|
@ -1,19 +0,0 @@
|
||||||
[api]
|
|
||||||
enabled = true
|
|
||||||
address = "0.0.0.0:8686"
|
|
||||||
|
|
||||||
[sources.tabby_server_logs]
|
|
||||||
type = "file"
|
|
||||||
include = ["/logs/tabby-server/events.*.log"]
|
|
||||||
|
|
||||||
[transforms.process_tabby_server_logs]
|
|
||||||
type = "remap"
|
|
||||||
inputs = [ "tabby_server_logs" ]
|
|
||||||
source = ". = parse_json!(parse_json!(.message).record.message)"
|
|
||||||
|
|
||||||
[sinks.console]
|
|
||||||
type = "console"
|
|
||||||
inputs = [ "process_tabby_server_logs" ]
|
|
||||||
encoding = { codec = "json" }
|
|
||||||
framing = { method = "newline_delimited" }
|
|
||||||
target = "stdout"
|
|
||||||
|
|
@ -1,22 +0,0 @@
|
||||||
#!/bin/bash
|
|
||||||
set -e
|
|
||||||
|
|
||||||
if [ -d "$MODEL_NAME" ]; then
|
|
||||||
MODEL_DIR="$MODEL_NAME"
|
|
||||||
else
|
|
||||||
# Get model dir.
|
|
||||||
MODEL_DIR=$(python3 <<EOF
|
|
||||||
from huggingface_hub import snapshot_download
|
|
||||||
|
|
||||||
print(snapshot_download(repo_id='$MODEL_NAME', allow_patterns='triton/**/*', local_files_only=True))
|
|
||||||
EOF
|
|
||||||
)
|
|
||||||
fi
|
|
||||||
|
|
||||||
# Set model dir in triton config.
|
|
||||||
sed -i 's@${MODEL_DIR}@'$MODEL_DIR'@g' $MODEL_DIR/triton/fastertransformer/config.pbtxt
|
|
||||||
|
|
||||||
# Start triton server.
|
|
||||||
mpirun -n 1 \
|
|
||||||
--allow-run-as-root /opt/tritonserver/bin/tritonserver \
|
|
||||||
--model-repository=$MODEL_DIR/triton
|
|
||||||
Loading…
Reference in New Issue