v2 #1
@ -3,10 +3,11 @@ package fstore
|
|||||||
import (
|
import (
|
||||||
"embed"
|
"embed"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/fstore/pages"
|
|
||||||
"net/http"
|
"net/http"
|
||||||
"os"
|
"os"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/fstore/pages"
|
||||||
)
|
)
|
||||||
|
|
||||||
//go:embed static/*
|
//go:embed static/*
|
||||||
|
@ -4,6 +4,7 @@ import (
|
|||||||
"bytes"
|
"bytes"
|
||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"io"
|
"io"
|
||||||
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -1,9 +1,10 @@
|
|||||||
package fstore
|
package fstore
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"strconv"
|
"strconv"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
func filesRootPath(rootDir string) string {
|
func filesRootPath(rootDir string) string {
|
||||||
|
@ -1,11 +1,12 @@
|
|||||||
package fstore
|
package fstore
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"git.crumpington.com/public/jldb/lib/idgen"
|
|
||||||
"log"
|
"log"
|
||||||
"os"
|
"os"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
|
"git.crumpington.com/public/jldb/lib/idgen"
|
||||||
)
|
)
|
||||||
|
|
||||||
func (s *Store) applyStoreFromReader(cmd command) error {
|
func (s *Store) applyStoreFromReader(cmd command) error {
|
||||||
|
@ -5,12 +5,13 @@ import (
|
|||||||
"errors"
|
"errors"
|
||||||
"io"
|
"io"
|
||||||
"io/fs"
|
"io/fs"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"git.crumpington.com/public/jldb/lib/wal"
|
|
||||||
"net"
|
"net"
|
||||||
"os"
|
"os"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
|
"git.crumpington.com/public/jldb/lib/wal"
|
||||||
)
|
)
|
||||||
|
|
||||||
func (s *Store) repSendState(conn net.Conn) error {
|
func (s *Store) repSendState(conn net.Conn) error {
|
||||||
|
@ -3,15 +3,16 @@ package fstore
|
|||||||
import (
|
import (
|
||||||
"bytes"
|
"bytes"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"git.crumpington.com/public/jldb/lib/idgen"
|
|
||||||
"git.crumpington.com/public/jldb/lib/rep"
|
|
||||||
"net/http"
|
"net/http"
|
||||||
"os"
|
"os"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"strconv"
|
"strconv"
|
||||||
"sync"
|
"sync"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
|
"git.crumpington.com/public/jldb/lib/idgen"
|
||||||
|
"git.crumpington.com/public/jldb/lib/rep"
|
||||||
)
|
)
|
||||||
|
|
||||||
type Config struct {
|
type Config struct {
|
||||||
|
@ -3,9 +3,10 @@ package atomicheader
|
|||||||
import (
|
import (
|
||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"hash/crc32"
|
"hash/crc32"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"os"
|
"os"
|
||||||
"sync"
|
"sync"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
const (
|
const (
|
||||||
|
@ -6,11 +6,12 @@ import (
|
|||||||
"crypto/tls"
|
"crypto/tls"
|
||||||
"errors"
|
"errors"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"net"
|
"net"
|
||||||
"net/http"
|
"net/http"
|
||||||
"net/url"
|
"net/url"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
var ErrInvalidStatus = errors.New("invalid status")
|
var ErrInvalidStatus = errors.New("invalid status")
|
||||||
|
@ -3,10 +3,11 @@ package rep
|
|||||||
import (
|
import (
|
||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"net"
|
"net"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
// ----------------------------------------------------------------------------
|
// ----------------------------------------------------------------------------
|
||||||
|
@ -4,12 +4,13 @@ import (
|
|||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"git.crumpington.com/public/jldb/lib/httpconn"
|
|
||||||
"git.crumpington.com/public/jldb/lib/wal"
|
|
||||||
"net"
|
"net"
|
||||||
"sync"
|
"sync"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
|
"git.crumpington.com/public/jldb/lib/httpconn"
|
||||||
|
"git.crumpington.com/public/jldb/lib/wal"
|
||||||
)
|
)
|
||||||
|
|
||||||
type client struct {
|
type client struct {
|
||||||
|
@ -2,10 +2,11 @@ package rep
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"crypto/subtle"
|
"crypto/subtle"
|
||||||
"git.crumpington.com/public/jldb/lib/httpconn"
|
|
||||||
"log"
|
"log"
|
||||||
"net/http"
|
"net/http"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/httpconn"
|
||||||
)
|
)
|
||||||
|
|
||||||
const (
|
const (
|
||||||
@ -54,6 +55,7 @@ func (rep *Replicator) Handle(w http.ResponseWriter, r *http.Request) {
|
|||||||
switch cmd[0] {
|
switch cmd[0] {
|
||||||
|
|
||||||
case cmdGetInfo:
|
case cmdGetInfo:
|
||||||
|
|
||||||
if err := sendJSON(rep.Info(), conn, rep.conf.NetTimeout); err != nil {
|
if err := sendJSON(rep.Info(), conn, rep.conf.NetTimeout); err != nil {
|
||||||
logf("Failed to send info: %s", err)
|
logf("Failed to send info: %s", err)
|
||||||
return
|
return
|
||||||
@ -69,6 +71,7 @@ func (rep *Replicator) Handle(w http.ResponseWriter, r *http.Request) {
|
|||||||
}
|
}
|
||||||
|
|
||||||
case cmdStreamWAL:
|
case cmdStreamWAL:
|
||||||
|
|
||||||
err := rep.wal.Send(conn, rep.conf.NetTimeout)
|
err := rep.wal.Send(conn, rep.conf.NetTimeout)
|
||||||
if !rep.stopped() {
|
if !rep.stopped() {
|
||||||
logf("Failed when sending WAL: %s", err)
|
logf("Failed when sending WAL: %s", err)
|
||||||
|
@ -2,9 +2,10 @@ package rep
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"net"
|
"net"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
func (rep *Replicator) sendState(conn net.Conn) error {
|
func (rep *Replicator) sendState(conn net.Conn) error {
|
||||||
|
@ -1,12 +1,13 @@
|
|||||||
package rep
|
package rep
|
||||||
|
|
||||||
import (
|
import (
|
||||||
|
"os"
|
||||||
|
"time"
|
||||||
|
|
||||||
"git.crumpington.com/public/jldb/lib/atomicheader"
|
"git.crumpington.com/public/jldb/lib/atomicheader"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
"git.crumpington.com/public/jldb/lib/flock"
|
"git.crumpington.com/public/jldb/lib/flock"
|
||||||
"git.crumpington.com/public/jldb/lib/wal"
|
"git.crumpington.com/public/jldb/lib/wal"
|
||||||
"os"
|
|
||||||
"time"
|
|
||||||
)
|
)
|
||||||
|
|
||||||
func (rep *Replicator) loadConfigDefaults() {
|
func (rep *Replicator) loadConfigDefaults() {
|
||||||
|
@ -2,14 +2,15 @@ package rep
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/atomicheader"
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"git.crumpington.com/public/jldb/lib/wal"
|
|
||||||
"net"
|
"net"
|
||||||
"os"
|
"os"
|
||||||
"sync"
|
"sync"
|
||||||
"sync/atomic"
|
"sync/atomic"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/atomicheader"
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
|
"git.crumpington.com/public/jldb/lib/wal"
|
||||||
)
|
)
|
||||||
|
|
||||||
type Config struct {
|
type Config struct {
|
||||||
@ -161,10 +162,6 @@ func (rep *Replicator) Primary() bool {
|
|||||||
return rep.conf.Primary
|
return rep.conf.Primary
|
||||||
}
|
}
|
||||||
|
|
||||||
// TODO: Probably remove this.
|
|
||||||
// The caller may call Ack after Apply to acknowledge that the change has also
|
|
||||||
// been applied to the caller's application. Alternatively, the caller may use
|
|
||||||
// follow to apply changes to their application state.
|
|
||||||
func (rep *Replicator) ack(seqNum, timestampMS int64) error {
|
func (rep *Replicator) ack(seqNum, timestampMS int64) error {
|
||||||
state := rep.getState()
|
state := rep.getState()
|
||||||
state.SeqNum = seqNum
|
state.SeqNum = seqNum
|
||||||
|
@ -5,12 +5,13 @@ import (
|
|||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/wal"
|
|
||||||
"math/rand"
|
"math/rand"
|
||||||
"net"
|
"net"
|
||||||
"sync"
|
"sync"
|
||||||
"testing"
|
"testing"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/wal"
|
||||||
)
|
)
|
||||||
|
|
||||||
// ----------------------------------------------------------------------------
|
// ----------------------------------------------------------------------------
|
||||||
|
@ -2,8 +2,9 @@ package wal
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"testing"
|
"testing"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
func TestCorruptWAL(t *testing.T) {
|
func TestCorruptWAL(t *testing.T) {
|
||||||
|
@ -5,13 +5,14 @@ import (
|
|||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"errors"
|
"errors"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"math/rand"
|
"math/rand"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"reflect"
|
"reflect"
|
||||||
"strings"
|
"strings"
|
||||||
"testing"
|
"testing"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
type waLog interface {
|
type waLog interface {
|
||||||
|
@ -5,6 +5,7 @@ import (
|
|||||||
"errors"
|
"errors"
|
||||||
"hash/crc32"
|
"hash/crc32"
|
||||||
"io"
|
"io"
|
||||||
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -4,6 +4,7 @@ import (
|
|||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"hash/crc32"
|
"hash/crc32"
|
||||||
"io"
|
"io"
|
||||||
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -3,10 +3,11 @@ package wal
|
|||||||
import (
|
import (
|
||||||
"bytes"
|
"bytes"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"git.crumpington.com/public/jldb/lib/testutil"
|
|
||||||
"math/rand"
|
"math/rand"
|
||||||
"testing"
|
"testing"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
|
"git.crumpington.com/public/jldb/lib/testutil"
|
||||||
)
|
)
|
||||||
|
|
||||||
func NewRecordForTesting() Record {
|
func NewRecordForTesting() Record {
|
||||||
|
@ -1,10 +1,11 @@
|
|||||||
package wal
|
package wal
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"git.crumpington.com/public/jldb/lib/atomicheader"
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"os"
|
"os"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/atomicheader"
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
type segmentIterator struct {
|
type segmentIterator struct {
|
||||||
|
@ -3,11 +3,12 @@ package wal
|
|||||||
import (
|
import (
|
||||||
"bufio"
|
"bufio"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/atomicheader"
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"os"
|
"os"
|
||||||
"sync"
|
"sync"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/atomicheader"
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
type segment struct {
|
type segment struct {
|
||||||
|
@ -4,11 +4,12 @@ import (
|
|||||||
"bytes"
|
"bytes"
|
||||||
crand "crypto/rand"
|
crand "crypto/rand"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/atomicheader"
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"testing"
|
"testing"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/atomicheader"
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
func newSegmentForTesting(t *testing.T) *segment {
|
func newSegmentForTesting(t *testing.T) *segment {
|
||||||
|
@ -1,8 +1,9 @@
|
|||||||
package wal
|
package wal
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
type walIterator struct {
|
type walIterator struct {
|
||||||
|
@ -3,9 +3,10 @@ package wal
|
|||||||
import (
|
import (
|
||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"net"
|
"net"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
func (wal *WAL) Recv(conn net.Conn, timeout time.Duration) error {
|
func (wal *WAL) Recv(conn net.Conn, timeout time.Duration) error {
|
||||||
|
@ -2,9 +2,10 @@ package wal
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"net"
|
"net"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
const (
|
const (
|
||||||
|
@ -1,8 +1,6 @@
|
|||||||
package wal
|
package wal
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"git.crumpington.com/public/jldb/lib/testutil"
|
|
||||||
"log"
|
"log"
|
||||||
"math/rand"
|
"math/rand"
|
||||||
"reflect"
|
"reflect"
|
||||||
@ -11,6 +9,9 @@ import (
|
|||||||
"sync/atomic"
|
"sync/atomic"
|
||||||
"testing"
|
"testing"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
|
"git.crumpington.com/public/jldb/lib/testutil"
|
||||||
)
|
)
|
||||||
|
|
||||||
func TestSendRecvHarness(t *testing.T) {
|
func TestSendRecvHarness(t *testing.T) {
|
||||||
|
@ -2,13 +2,14 @@ package wal
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/atomicheader"
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"os"
|
"os"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"strconv"
|
"strconv"
|
||||||
"sync"
|
"sync"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/atomicheader"
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
type Config struct {
|
type Config struct {
|
||||||
|
@ -3,6 +3,7 @@ package change
|
|||||||
import (
|
import (
|
||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"io"
|
"io"
|
||||||
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -2,6 +2,7 @@ package change
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"io"
|
"io"
|
||||||
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -5,9 +5,10 @@ import (
|
|||||||
"encoding/json"
|
"encoding/json"
|
||||||
"errors"
|
"errors"
|
||||||
"hash/crc64"
|
"hash/crc64"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"unsafe"
|
"unsafe"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
|
|
||||||
"github.com/google/btree"
|
"github.com/google/btree"
|
||||||
)
|
)
|
||||||
|
|
||||||
@ -189,7 +190,7 @@ func (c Collection[T]) Insert(tx *Snapshot, userItem *T) error {
|
|||||||
|
|
||||||
for i := range c.uniqueIndices {
|
for i := range c.uniqueIndices {
|
||||||
if c.uniqueIndices[i].insertConflict(tx, item) {
|
if c.uniqueIndices[i].insertConflict(tx, item) {
|
||||||
return ErrDuplicate.WithCollection(c.name).WithIndex(c.uniqueIndices[i].name)
|
return errs.Duplicate.WithCollection(c.name).WithIndex(c.uniqueIndices[i].name)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@ -216,12 +217,12 @@ func (c Collection[T]) Update(tx *Snapshot, userItem *T) error {
|
|||||||
|
|
||||||
old, ok := c.ByID.get(tx, item)
|
old, ok := c.ByID.get(tx, item)
|
||||||
if !ok {
|
if !ok {
|
||||||
return ErrNotFound
|
return errs.NotFound
|
||||||
}
|
}
|
||||||
|
|
||||||
for i := range c.uniqueIndices {
|
for i := range c.uniqueIndices {
|
||||||
if c.uniqueIndices[i].updateConflict(tx, item) {
|
if c.uniqueIndices[i].updateConflict(tx, item) {
|
||||||
return ErrDuplicate.WithCollection(c.name).WithIndex(c.uniqueIndices[i].name)
|
return errs.Duplicate.WithCollection(c.name).WithIndex(c.uniqueIndices[i].name)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@ -239,7 +240,7 @@ func (c Collection[T]) Upsert(tx *Snapshot, item *T) error {
|
|||||||
if err == nil {
|
if err == nil {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
if errors.Is(err, ErrDuplicate) {
|
if errors.Is(err, errs.Duplicate) {
|
||||||
return c.Update(tx, item)
|
return c.Update(tx, item)
|
||||||
}
|
}
|
||||||
return err
|
return err
|
||||||
@ -261,7 +262,7 @@ func (c Collection[T]) getByID(tx *Snapshot, itemID uint64) (*T, bool) {
|
|||||||
|
|
||||||
func (c Collection[T]) ensureMutable(tx *Snapshot) error {
|
func (c Collection[T]) ensureMutable(tx *Snapshot) error {
|
||||||
if !tx.writable() {
|
if !tx.writable() {
|
||||||
return ErrReadOnly
|
return errs.ReadOnly
|
||||||
}
|
}
|
||||||
|
|
||||||
state := c.getState(tx)
|
state := c.getState(tx)
|
||||||
@ -282,7 +283,7 @@ func (c Collection[T]) insertItem(tx *Snapshot, itemID uint64, data []byte) erro
|
|||||||
// Check for insert conflict.
|
// Check for insert conflict.
|
||||||
for _, index := range c.uniqueIndices {
|
for _, index := range c.uniqueIndices {
|
||||||
if index.insertConflict(tx, item) {
|
if index.insertConflict(tx, item) {
|
||||||
return ErrDuplicate
|
return errs.Duplicate
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@ -297,7 +298,7 @@ func (c Collection[T]) insertItem(tx *Snapshot, itemID uint64, data []byte) erro
|
|||||||
func (c Collection[T]) deleteItem(tx *Snapshot, itemID uint64) error {
|
func (c Collection[T]) deleteItem(tx *Snapshot, itemID uint64) error {
|
||||||
item, ok := c.getByID(tx, itemID)
|
item, ok := c.getByID(tx, itemID)
|
||||||
if !ok {
|
if !ok {
|
||||||
return ErrNotFound
|
return errs.NotFound
|
||||||
}
|
}
|
||||||
|
|
||||||
tx.delete(c.collectionID, itemID)
|
tx.delete(c.collectionID, itemID)
|
||||||
|
@ -1,12 +1,13 @@
|
|||||||
package mdb
|
package mdb
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"log"
|
"log"
|
||||||
"os"
|
"os"
|
||||||
"os/exec"
|
"os/exec"
|
||||||
"testing"
|
"testing"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
func TestCrashConsistency(t *testing.T) {
|
func TestCrashConsistency(t *testing.T) {
|
||||||
|
@ -1,13 +1,14 @@
|
|||||||
package mdb
|
package mdb
|
||||||
|
|
||||||
import (
|
import (
|
||||||
|
"log"
|
||||||
|
"net"
|
||||||
|
"os"
|
||||||
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
"git.crumpington.com/public/jldb/lib/wal"
|
"git.crumpington.com/public/jldb/lib/wal"
|
||||||
"git.crumpington.com/public/jldb/mdb/change"
|
"git.crumpington.com/public/jldb/mdb/change"
|
||||||
"git.crumpington.com/public/jldb/mdb/pfile"
|
"git.crumpington.com/public/jldb/mdb/pfile"
|
||||||
"log"
|
|
||||||
"net"
|
|
||||||
"os"
|
|
||||||
)
|
)
|
||||||
|
|
||||||
func (db *Database) repSendState(conn net.Conn) error {
|
func (db *Database) repSendState(conn net.Conn) error {
|
||||||
|
@ -6,6 +6,8 @@ import (
|
|||||||
"reflect"
|
"reflect"
|
||||||
"strings"
|
"strings"
|
||||||
"testing"
|
"testing"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
type DBTestCase struct {
|
type DBTestCase struct {
|
||||||
@ -54,7 +56,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
Update: func(t *testing.T, db TestDB, tx *Snapshot) error {
|
Update: func(t *testing.T, db TestDB, tx *Snapshot) error {
|
||||||
user, ok := db.Users.ByID.Get(tx, &User{ID: 1})
|
user, ok := db.Users.ByID.Get(tx, &User{ID: 1})
|
||||||
if !ok {
|
if !ok {
|
||||||
return ErrNotFound
|
return errs.NotFound
|
||||||
}
|
}
|
||||||
user.Name = "Bob"
|
user.Name = "Bob"
|
||||||
user.Email = "b@c.com"
|
user.Email = "b@c.com"
|
||||||
@ -111,7 +113,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
return db.Users.Insert(tx, user2)
|
return db.Users.Insert(tx, user2)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrDuplicate,
|
ExpectedUpdateError: errs.Duplicate,
|
||||||
|
|
||||||
State: DBState{},
|
State: DBState{},
|
||||||
}},
|
}},
|
||||||
@ -131,7 +133,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
return db.Users.Insert(tx, user2)
|
return db.Users.Insert(tx, user2)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrDuplicate,
|
ExpectedUpdateError: errs.Duplicate,
|
||||||
|
|
||||||
State: DBState{},
|
State: DBState{},
|
||||||
}},
|
}},
|
||||||
@ -162,7 +164,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
return db.Users.Insert(tx, user)
|
return db.Users.Insert(tx, user)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrDuplicate,
|
ExpectedUpdateError: errs.Duplicate,
|
||||||
|
|
||||||
State: DBState{
|
State: DBState{
|
||||||
UsersByID: []User{{ID: 1, Name: "Alice", Email: "a@b.com"}},
|
UsersByID: []User{{ID: 1, Name: "Alice", Email: "a@b.com"}},
|
||||||
@ -197,7 +199,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
return db.Users.Insert(tx, user)
|
return db.Users.Insert(tx, user)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrDuplicate,
|
ExpectedUpdateError: errs.Duplicate,
|
||||||
|
|
||||||
State: DBState{
|
State: DBState{
|
||||||
UsersByID: []User{{ID: 1, Name: "Alice", Email: "a@b.com"}},
|
UsersByID: []User{{ID: 1, Name: "Alice", Email: "a@b.com"}},
|
||||||
@ -218,7 +220,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
return db.Users.Insert(db.Snapshot(), user)
|
return db.Users.Insert(db.Snapshot(), user)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrReadOnly,
|
ExpectedUpdateError: errs.ReadOnly,
|
||||||
}},
|
}},
|
||||||
}, {
|
}, {
|
||||||
|
|
||||||
@ -290,7 +292,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
return db.Users.Update(tx, user)
|
return db.Users.Update(tx, user)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrNotFound,
|
ExpectedUpdateError: errs.NotFound,
|
||||||
|
|
||||||
State: DBState{
|
State: DBState{
|
||||||
UsersByID: []User{{ID: 5, Name: "Alice", Email: "a@b.com"}},
|
UsersByID: []User{{ID: 5, Name: "Alice", Email: "a@b.com"}},
|
||||||
@ -323,14 +325,14 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
Update: func(t *testing.T, db TestDB, tx *Snapshot) error {
|
Update: func(t *testing.T, db TestDB, tx *Snapshot) error {
|
||||||
user, ok := db.Users.ByID.Get(tx, &User{ID: 1})
|
user, ok := db.Users.ByID.Get(tx, &User{ID: 1})
|
||||||
if !ok {
|
if !ok {
|
||||||
return ErrNotFound
|
return errs.NotFound
|
||||||
}
|
}
|
||||||
user.Name = "Bob"
|
user.Name = "Bob"
|
||||||
user.Email = "b@c.com"
|
user.Email = "b@c.com"
|
||||||
return db.Users.Update(db.Snapshot(), user)
|
return db.Users.Update(db.Snapshot(), user)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrReadOnly,
|
ExpectedUpdateError: errs.ReadOnly,
|
||||||
|
|
||||||
State: DBState{
|
State: DBState{
|
||||||
UsersByID: []User{{ID: 1, Name: "Alice", Email: "a@b.com"}},
|
UsersByID: []User{{ID: 1, Name: "Alice", Email: "a@b.com"}},
|
||||||
@ -451,7 +453,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
return db.Users.Update(tx, user2)
|
return db.Users.Update(tx, user2)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrDuplicate,
|
ExpectedUpdateError: errs.Duplicate,
|
||||||
|
|
||||||
State: DBState{},
|
State: DBState{},
|
||||||
}},
|
}},
|
||||||
@ -493,14 +495,14 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
Update: func(t *testing.T, db TestDB, tx *Snapshot) error {
|
Update: func(t *testing.T, db TestDB, tx *Snapshot) error {
|
||||||
u, ok := db.Users.ByID.Get(tx, &User{ID: 2})
|
u, ok := db.Users.ByID.Get(tx, &User{ID: 2})
|
||||||
if !ok {
|
if !ok {
|
||||||
return ErrNotFound
|
return errs.NotFound
|
||||||
}
|
}
|
||||||
|
|
||||||
u.Email = "a@b.com"
|
u.Email = "a@b.com"
|
||||||
return db.Users.Update(tx, u)
|
return db.Users.Update(tx, u)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrDuplicate,
|
ExpectedUpdateError: errs.Duplicate,
|
||||||
|
|
||||||
State: DBState{
|
State: DBState{
|
||||||
UsersByID: []User{
|
UsersByID: []User{
|
||||||
@ -542,7 +544,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
return db.Users.Delete(db.Snapshot(), 1)
|
return db.Users.Delete(db.Snapshot(), 1)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrReadOnly,
|
ExpectedUpdateError: errs.ReadOnly,
|
||||||
|
|
||||||
State: DBState{
|
State: DBState{
|
||||||
UsersByID: []User{{ID: 1, Name: "Alice", Email: "a@b.com"}},
|
UsersByID: []User{{ID: 1, Name: "Alice", Email: "a@b.com"}},
|
||||||
@ -575,7 +577,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
return db.Users.Delete(tx, 2)
|
return db.Users.Delete(tx, 2)
|
||||||
},
|
},
|
||||||
|
|
||||||
ExpectedUpdateError: ErrNotFound,
|
ExpectedUpdateError: errs.NotFound,
|
||||||
|
|
||||||
State: DBState{
|
State: DBState{
|
||||||
UsersByID: []User{{ID: 1, Name: "Alice", Email: "a@b.com"}},
|
UsersByID: []User{{ID: 1, Name: "Alice", Email: "a@b.com"}},
|
||||||
@ -609,7 +611,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
|
|
||||||
u, ok := db.Users.ByID.Get(tx, &User{ID: 1})
|
u, ok := db.Users.ByID.Get(tx, &User{ID: 1})
|
||||||
if !ok {
|
if !ok {
|
||||||
return ErrNotFound
|
return errs.NotFound
|
||||||
}
|
}
|
||||||
if !reflect.DeepEqual(u, expected) {
|
if !reflect.DeepEqual(u, expected) {
|
||||||
return errors.New("Not equal (id)")
|
return errors.New("Not equal (id)")
|
||||||
@ -617,7 +619,7 @@ var testDBTestCases = []DBTestCase{{
|
|||||||
|
|
||||||
u, ok = db.Users.ByEmail.Get(tx, &User{Email: "a@b.com"})
|
u, ok = db.Users.ByEmail.Get(tx, &User{Email: "a@b.com"})
|
||||||
if !ok {
|
if !ok {
|
||||||
return ErrNotFound
|
return errs.NotFound
|
||||||
}
|
}
|
||||||
if !reflect.DeepEqual(u, expected) {
|
if !reflect.DeepEqual(u, expected) {
|
||||||
return errors.New("Not equal (email)")
|
return errors.New("Not equal (email)")
|
||||||
|
@ -2,6 +2,7 @@ package mdb
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"bytes"
|
"bytes"
|
||||||
|
|
||||||
"git.crumpington.com/public/jldb/mdb/change"
|
"git.crumpington.com/public/jldb/mdb/change"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -2,15 +2,16 @@ package mdb
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"fmt"
|
"fmt"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"git.crumpington.com/public/jldb/lib/rep"
|
|
||||||
"git.crumpington.com/public/jldb/mdb/change"
|
|
||||||
"git.crumpington.com/public/jldb/mdb/pfile"
|
|
||||||
"net/http"
|
"net/http"
|
||||||
"os"
|
"os"
|
||||||
"sync"
|
"sync"
|
||||||
"sync/atomic"
|
"sync/atomic"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
|
"git.crumpington.com/public/jldb/lib/rep"
|
||||||
|
"git.crumpington.com/public/jldb/mdb/change"
|
||||||
|
"git.crumpington.com/public/jldb/mdb/pfile"
|
||||||
)
|
)
|
||||||
|
|
||||||
type Config struct {
|
type Config struct {
|
||||||
|
@ -1,11 +0,0 @@
|
|||||||
package mdb
|
|
||||||
|
|
||||||
import (
|
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
)
|
|
||||||
|
|
||||||
var (
|
|
||||||
ErrNotFound = errs.NotFound
|
|
||||||
ErrReadOnly = errs.ReadOnly
|
|
||||||
ErrDuplicate = errs.Duplicate
|
|
||||||
)
|
|
@ -2,8 +2,9 @@ package pfile
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
crand "crypto/rand"
|
crand "crypto/rand"
|
||||||
"git.crumpington.com/public/jldb/mdb/change"
|
|
||||||
"math/rand"
|
"math/rand"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/mdb/change"
|
||||||
)
|
)
|
||||||
|
|
||||||
func randomChangeList() (changes []change.Change) {
|
func randomChangeList() (changes []change.Change) {
|
||||||
|
@ -3,10 +3,11 @@ package pfile
|
|||||||
import (
|
import (
|
||||||
"bytes"
|
"bytes"
|
||||||
crand "crypto/rand"
|
crand "crypto/rand"
|
||||||
"git.crumpington.com/public/jldb/lib/wal"
|
|
||||||
"git.crumpington.com/public/jldb/mdb/change"
|
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"testing"
|
"testing"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/wal"
|
||||||
|
"git.crumpington.com/public/jldb/mdb/change"
|
||||||
)
|
)
|
||||||
|
|
||||||
func newForTesting(t *testing.T) (*File, *Index) {
|
func newForTesting(t *testing.T) (*File, *Index) {
|
||||||
|
@ -2,8 +2,9 @@ package pfile
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"hash/crc32"
|
"hash/crc32"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"unsafe"
|
"unsafe"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
// ----------------------------------------------------------------------------
|
// ----------------------------------------------------------------------------
|
||||||
@ -30,7 +31,7 @@ var emptyPage = func() dataPage {
|
|||||||
type pageHeader struct {
|
type pageHeader struct {
|
||||||
CRC uint32 // IEEE CRC-32 checksum.
|
CRC uint32 // IEEE CRC-32 checksum.
|
||||||
PageType uint32 // One of the PageType* constants.
|
PageType uint32 // One of the PageType* constants.
|
||||||
CollectionID uint64 //
|
CollectionID uint64 //
|
||||||
ItemID uint64
|
ItemID uint64
|
||||||
DataSize uint64
|
DataSize uint64
|
||||||
NextPage uint64
|
NextPage uint64
|
||||||
|
@ -3,9 +3,10 @@ package pfile
|
|||||||
import (
|
import (
|
||||||
"bytes"
|
"bytes"
|
||||||
crand "crypto/rand"
|
crand "crypto/rand"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"math/rand"
|
"math/rand"
|
||||||
"testing"
|
"testing"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
)
|
)
|
||||||
|
|
||||||
func randomPage(t *testing.T) dataPage {
|
func randomPage(t *testing.T) dataPage {
|
||||||
|
@ -6,12 +6,13 @@ import (
|
|||||||
"compress/gzip"
|
"compress/gzip"
|
||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
"io"
|
"io"
|
||||||
"git.crumpington.com/public/jldb/lib/errs"
|
|
||||||
"git.crumpington.com/public/jldb/mdb/change"
|
|
||||||
"net"
|
"net"
|
||||||
"os"
|
"os"
|
||||||
"sync"
|
"sync"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/lib/errs"
|
||||||
|
"git.crumpington.com/public/jldb/mdb/change"
|
||||||
)
|
)
|
||||||
|
|
||||||
type File struct {
|
type File struct {
|
||||||
|
@ -2,6 +2,7 @@ package pfile
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"bytes"
|
"bytes"
|
||||||
|
|
||||||
"git.crumpington.com/public/jldb/lib/wal"
|
"git.crumpington.com/public/jldb/lib/wal"
|
||||||
"git.crumpington.com/public/jldb/mdb/change"
|
"git.crumpington.com/public/jldb/mdb/change"
|
||||||
)
|
)
|
||||||
|
@ -3,8 +3,9 @@ package mdb
|
|||||||
import (
|
import (
|
||||||
"bytes"
|
"bytes"
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
"git.crumpington.com/public/jldb/mdb/change"
|
|
||||||
"sync/atomic"
|
"sync/atomic"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/mdb/change"
|
||||||
)
|
)
|
||||||
|
|
||||||
type Snapshot struct {
|
type Snapshot struct {
|
||||||
|
@ -4,7 +4,6 @@ import (
|
|||||||
"crypto/rand"
|
"crypto/rand"
|
||||||
"errors"
|
"errors"
|
||||||
"hash/crc32"
|
"hash/crc32"
|
||||||
"git.crumpington.com/public/jldb/mdb"
|
|
||||||
"log"
|
"log"
|
||||||
mrand "math/rand"
|
mrand "math/rand"
|
||||||
"os"
|
"os"
|
||||||
@ -13,6 +12,8 @@ import (
|
|||||||
"sync"
|
"sync"
|
||||||
"sync/atomic"
|
"sync/atomic"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"git.crumpington.com/public/jldb/mdb"
|
||||||
)
|
)
|
||||||
|
|
||||||
type DataItem struct {
|
type DataItem struct {
|
||||||
|
Loading…
Reference in New Issue
Block a user